各位大神，爬国外数据的话，标配是什么吗？

dengwen168

最近在学习python.,

想请问一下各位大神，爬国外数据的话，
" O4 i) ]* p4 g/ k( }% O0 m1 Xgoogle ,twitter这些都是被墙的，
  K: P$ a( w0 S. c8 U* E
' E! G% @* j0 o: N如果要爬这引起网站的话，标配是什么啊？
: q9 ?! Y6 v$ C3 o! \& v
大家都是如何来解决这个问题的？
' S) N7 m* u% u
我目前是浏览器可以FQ，可是爬虫翻不了，
" _9 |, Q" o: J
% ^; b' S% G) j0 P5 L& D( V! t是不是要搞个可以FQ的路由器啊？
/ o- L9 P8 w8 B" X! M! I; C
6 m5 b0 m# V! Y" B# b; l谢谢。。

2 {* {4 I, m7 |: T8 u5 ]

qingwei

买个服务器

osun

搞vps，在vps上爬

osun

搞个vps，在vps上爬，练手的话就先国内网站爬爬

bluescharp

服务器不重要，大量的代理才是标配

lmxml

证明你还不会爬虫，没有什么标配的。学会用框架来玩爬虫。代理的话神招就是VPS加TOR

affiliateberry

话说专业的都用住宅代理crawling, 数据中心的IP很容易被Ban的...
. D4 O/ Z) U- m0 I) ]不过价格不便宜
https://www.stupidproxy.com/5-best-residential-proxies/
你问的是标配？ 把你的项目大小确定了，才来问标配.

fatiery

代理 大量