各位大神，爬国外数据的话，标配是什么吗？

dengwen168

最近在学习python.,
7 o3 ?$ f6 v7 G. A
想请问一下各位大神，爬国外数据的话，
4 q. L4 s) F% Qgoogle ,twitter这些都是被墙的，
% Z# C6 a& c7 Q" |9 S
如果要爬这引起网站的话，标配是什么啊？
( `! H6 @6 c5 ?( R! z
5 o5 a$ t, D+ t/ s; h& |5 }大家都是如何来解决这个问题的？

我目前是浏览器可以FQ，可是爬虫翻不了，

是不是要搞个可以FQ的路由器啊？

谢谢。。
' Y6 O. f5 {5 R( A: F
7 u& M5 i+ M2 ~, y" d
6 O" x) [3 q- Q' ?) M. }& P

qingwei

买个服务器

osun

搞vps，在vps上爬

osun

搞个vps，在vps上爬，练手的话就先国内网站爬爬

bluescharp

服务器不重要，大量的代理才是标配

lmxml

证明你还不会爬虫，没有什么标配的。学会用框架来玩爬虫。代理的话神招就是VPS加TOR

affiliateberry

话说专业的都用住宅代理crawling, 数据中心的IP很容易被Ban的...
不过价格不便宜
. e7 c% z& d/ C4 H% n. F! h% }https://www.stupidproxy.com/5-best-residential-proxies/
6 j' c+ @+ Z* C9 G8 Q8 h5 o你问的是标配？ 把你的项目大小确定了，才来问标配.

fatiery

代理 大量