求采集ezinearticles的高招，封ip太狠了

微笑君

可以修改 User Agent 为google的爬虫，它就不敢轻易的封你了

小俞

阿百川 发表于 2013-11-26 20:54
十几万，用gg缓存采的差不多了，本来想搞整站来着

刚找到方法采，都差不多那算了

阿百川

微笑君 发表于 2013-11-26 21:02
- L5 V; O5 ]$ O1 h% N5 r可以修改 User Agent 为google的爬虫，它就不敢轻易的封你了

& j) O7 X* f& S' |* |各种爬虫、手机端的ua都试过，没用

阿百川

小俞 发表于 2013-11-26 21:14
/ r6 r) w8 H, L, z2 T9 M刚找到方法采，都差不多那算了

  ?* O+ T, j8 l! w8 {! G/ p  g求方法，看看可不可以提高效率去扒整站

测试时间间隔撒，采集这个本来就是长期打算的，楼主太急了。不要一下子吃成胖子哈

阿百川

SIR 发表于 2013-11-27 07:41
* O9 t3 V  @; \9 w# E+ X测试时间间隔撒，采集这个本来就是长期打算的，楼主太急了。不要一下子吃成胖子哈 ...

, W/ C, r; Z0 G- a; u9 ]恩，看现在这批数据的处理结果如何，如果不错就慢慢采

jk1s

我曾使用的办法
1、google  iP 代理，会找到一些提供免费代理ip网站
  H4 F) X# {  C+ o" ?4 i0 D0 {9 H% Y  m9 m2、分别打开每个网站，复制ip和端口号到excell
3、调整excell，最终得到一个表只有一列，形如199.199.199.199:199，过程繁琐，不过熟练了也快
4、所有的ip和端口号用逗号隔开，保存到一个文本文件
  i" @' X8 g4 p, L9 R5、php做一个程序，读取这个文本文件，按逗号保存到一个数组中，每次随机取出一个
2 r. _5 K! `: X2 a# Y6、php写一段采集代码，用取出的这个代理ip，用完以后从数组中删除这个ip，把整个数组再用逗号隔开，保存到同名文本文件
5 D4 K  ~$ O' j& ?" `6 H' S. h7、隔几天到那几个网站，复制新的代理ip
, C3 ?& d+ A2 ^. V4 G, y) ~, w8、重复以上步骤

阿百川

jk1s 发表于 2013-12-8 17:31
* Z* k! j+ k( H" |' q我曾使用的办法
" a2 w! A3 E& o3 C' ?+ y" H1、google  iP 代理，会找到一些提供免费代理ip网站
* B* B* P* L5 z2、分别打开每个网站，复制ip和端口号 ...

2 x8 H/ W  r* v! C$ X: T3 y/ v- j' T4 [也是采集的ez？多久之前？

- x) Y) L9 G- P尝试过使用代理，效率很差