|
|

楼主 |
发表于 2016-5-11 12:21:56
|
显示全部楼层
想采集谷歌数据,大概做到以下几点:
, Y0 u+ @* z2 x; Q# a& `: B, C. E: s X" q" R8 ]
1 代理IP尽量多,而且不能都在一台服务器,因为所有请求数据都同在一个硬件网络出口的话(例如:网卡,路由),就是说MAC地址一样,这样的话,明显就是一台采集服务器,再多的IP在这台服务器上都是废的' L k" N* b8 r- T& D
( s' v) w% \ a2 不要太急,一般我的经验是,第一次发送关键字查询,间隔时间为20秒比较保险,从返回的搜索结果页面里,模拟点击“下一页”查询,间隔时间为40秒~50秒以上,7 ?$ C0 ?5 W5 i& i; e
$ G* y' N* i6 |! v9 ~4 }% _$ D请求翻页内容这个比较讲究,尽量做到模拟一个常人的行为去翻页,为什么我要写40~50秒这个区间,记住三点:
2 b$ F" {9 W( A! ^/ g* ?1 一个浏览者要点击翻页按钮,肯定会花40~50秒的时间看完了当前页面的内容才去翻页
/ n1 H" C$ h8 m+ q! L6 i, C2 不要每次发送请求的间隔时间都一样,随机在 40~50秒 之间8 P5 P" y; g: S+ v+ J. J8 J
3 不要贪得无厌的获取翻页内容,一个正常IP不会经常翻到第8~10页去看内容的,一个IP可以偶尔这样深度翻页获取数据,但经常这样做,只会让你的代理IP过早进入黑名单
5 q3 \/ }9 v8 K
8 ?1 R- m1 S3 \( w; n: `+ Q谷歌的搜索系统太智能了,就是一个模拟常人正常使用行为来做相应判断的,一切程序化的都会被识别出来,所以我们的程序也尽量仿人类去执行. @7 _$ \( D& y: h
' y5 O9 k+ O( M9 |/ o& c3 [以上就是很多人把采集时间间隔调得再大,都被谷歌拦住的原因+ d1 {* b, t# B) v8 Z! @6 L
|
|