各位大神，爬国外数据的话，标配是什么吗？

dengwen168

最近在学习python.,
: P. O; v  ~5 b0 R6 O5 ]- f+ O
想请问一下各位大神，爬国外数据的话，
google ,twitter这些都是被墙的，
9 N" h. q2 u% N, o  `
如果要爬这引起网站的话，标配是什么啊？
( `% @; a$ {2 p- ?, u" x
* i! [1 x) N( j  B* j& C大家都是如何来解决这个问题的？
2 W2 y: Q5 z7 T9 y" ^1 @, q
8 p! }# o+ b; S# U我目前是浏览器可以FQ，可是爬虫翻不了，
/ x3 j# Y* L7 o6 Y
是不是要搞个可以FQ的路由器啊？
; u) V0 ?1 C7 R' E+ t4 ~0 C# ?
% y7 l$ v1 i1 g5 E; w: ?6 n+ }谢谢。。
# v0 r& }: @$ m6 y# o5 C

9 S# \9 W- T( n

qingwei

买个服务器

osun

搞vps，在vps上爬

osun

搞个vps，在vps上爬，练手的话就先国内网站爬爬

bluescharp

服务器不重要，大量的代理才是标配

lmxml

证明你还不会爬虫，没有什么标配的。学会用框架来玩爬虫。代理的话神招就是VPS加TOR

affiliateberry

话说专业的都用住宅代理crawling, 数据中心的IP很容易被Ban的...
0 I. a$ {! O. N) w8 {9 r( O& X不过价格不便宜
https://www.stupidproxy.com/5-best-residential-proxies/
: D8 a: f( I' E8 j+ f你问的是标配？ 把你的项目大小确定了，才来问标配.

fatiery

代理 大量