各位大神，爬国外数据的话，标配是什么吗？

dengwen168

最近在学习python.,

1 O0 T7 Q+ X6 }6 Y+ ~# t/ O! k想请问一下各位大神，爬国外数据的话，
google ,twitter这些都是被墙的，

如果要爬这引起网站的话，标配是什么啊？
  o8 p, y! D" C$ L1 ~) O
: [$ u: y3 M. p; x5 d大家都是如何来解决这个问题的？
: Z9 ?  u+ d/ q3 @" T2 [
2 a6 T  c. t  U0 Y" R) J1 q我目前是浏览器可以FQ，可是爬虫翻不了，
( t/ {/ U: |5 @) t8 |2 r! j
2 f7 s5 F) @9 o8 m+ K; ^% b- k4 O9 Z是不是要搞个可以FQ的路由器啊？
0 c% A" a) W1 b3 j
谢谢。。
# j8 l3 D9 l1 U  C  N/ [
: |# ^1 d: G, l' k

qingwei

买个服务器

osun

搞vps，在vps上爬

osun

搞个vps，在vps上爬，练手的话就先国内网站爬爬

bluescharp

服务器不重要，大量的代理才是标配

lmxml

证明你还不会爬虫，没有什么标配的。学会用框架来玩爬虫。代理的话神招就是VPS加TOR

affiliateberry

话说专业的都用住宅代理crawling, 数据中心的IP很容易被Ban的...
不过价格不便宜
https://www.stupidproxy.com/5-best-residential-proxies/
1 s; s. w' u: K/ Z+ L你问的是标配？ 把你的项目大小确定了，才来问标配.

fatiery

代理 大量