请选择 进入手机版 | 继续访问电脑版

AdvertCN - 广告中国

 找回密码
 立即注册

QQ登录

只需一步,快速开始

PropellerAds
易赚网长期兑换paypal美元 值得信赖的顶级空间会员请立即修改密码ADPLEXITY + ADVERTCN
全球COD物流 微信/电话13560706171BINOM TRACKER + ADRERTCN 60% OFF!欧美直客大刀Nutra广告位出租
查看: 701|回复: 7

[闲聊] 各位大神,爬国外数据的话,标配是什么吗?

[复制链接]

28

主题

104

广告币

310

积分

初级会员

Rank: 2

积分
310

社区QQ达人

发表于 2019-4-7 17:23:55 | 显示全部楼层 |阅读模式
mobipium
最近在学习python.,
! ~- h! U1 A7 c/ E9 M/ b$ r  W; {4 U& X2 M3 O7 B  D9 P) \
想请问一下各位大神,爬国外数据的话,
. a& z1 K: C0 t" V/ h# sgoogle ,twitter这些都是被墙的,
. Z4 L0 \7 m# ]1 G8 F1 B3 R8 B9 U: t! @1 p3 j, X9 E" X
如果要爬这引起网站的话,标配是什么啊?4 ]$ m- l0 e2 @+ I" K/ ^/ X. _; ?

6 h9 t. A! N1 H6 A( a, v大家都是如何来解决这个问题的?
. A/ A. [; A5 s6 |* `6 c8 s
0 |' B/ M  y. Q/ u$ W9 [; O我目前是浏览器可以FQ,可是爬虫翻不了,' a# l4 ~+ U# ~# G9 D( G7 z
( ]1 |+ }* ^7 q3 \8 U1 P  [
是不是要搞个可以FQ的路由器啊?8 a& U9 m4 W, I/ D6 T) f8 G

% e+ E! m- `7 [  ?" D2 k谢谢。。
2 B% _% _, R) |5 _8 T; {5 S  Q; Z0 P# [
' l- S7 b8 t' b: e0 r' O3 K5 b# ?* R6 g
相关帖子
Adcombo
回复

使用道具 举报

2

主题

3

广告币

208

积分

初级会员

Rank: 2

积分
208
发表于 2019-4-7 17:50:07 | 显示全部楼层
回复 支持 反对

使用道具 举报

2

主题

141

广告币

261

积分

初级会员

Rank: 2

积分
261
发表于 2019-4-8 06:45:47 | 显示全部楼层
搞vps,在vps上爬
回复 支持 反对

使用道具 举报

2

主题

141

广告币

261

积分

初级会员

Rank: 2

积分
261
发表于 2019-4-8 06:49:24 | 显示全部楼层
搞个vps,在vps上爬,练手的话就先国内网站爬爬
回复 支持 反对

使用道具 举报

38

主题

475

广告币

783

积分

中级会员

Rank: 3Rank: 3

积分
783

社区QQ达人

发表于 2019-4-8 08:52:02 | 显示全部楼层
服务器不重要,大量的代理才是标配
回复 支持 反对

使用道具 举报

3

主题

13

广告币

34

积分

初级会员

Rank: 2

积分
34

社区QQ达人

发表于 2019-4-11 12:21:34 | 显示全部楼层
证明你还不会爬虫,没有什么标配的。学会用框架来玩爬虫。代理的话神招就是VPS加TOR
回复 支持 反对

使用道具 举报

17

主题

30

广告币

374

积分

初级会员

Rank: 2

积分
374

社区QQ达人

发表于 2019-4-15 20:35:56 | 显示全部楼层
话说专业的都用住宅代理crawling, 数据中心的IP很容易被Ban的...
0 M; ?* M! T: F不过价格不便宜
1 H2 \: ^# ~/ y" V, Q, y3 Fhttps://www.stupidproxy.com/5-best-residential-proxies/& V2 q2 U6 l. m) e* ^
你问的是标配? 把你的项目大小确定了,才来问标配.
笨鸟先飞.....
回复 支持 反对

使用道具 举报

65

主题

1334

广告币

1725

积分

版主

Rank: 7Rank: 7Rank: 7

积分
1725

社区QQ达人

QQ
发表于 2019-4-16 10:42:46 | 显示全部楼层
代理 大量
空静柔
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

idvert

QQ|Github|联系我们|广告服务|小黑屋|手机版|Archiver|AdvertCN ( 津ICP备17003502号-1 )|网站地图

GMT+8, 2019-6-16 09:22 , Processed in 0.075620 second(s), 7 queries , Gzip On, MemCache On.

Powered by Discuz

© 2007-2019 AdvertCN.

快速回复 返回顶部 返回列表