求采集ezinearticles的高招，封ip太狠了

阿百川

准备了十几个ip，采了不到300条就封完了

3 l  I  \, J# M- `' O9 P; {设置了采集间隔，短了没用，长了效率太低

  t+ E0 P* s/ ?. z: {) E& X求高人指点
+ a/ J" U/ O. J& L0 I0 m
; d3 e1 r1 K/ Q* g; j3 R! l

小俞

     您或您的网络上有人正在运行一个机器人爬行我们的网站。
3 p* B( P4 H1 f, _. k: x! l, E) s8 C        请与您的网络管理员联系，如果你相信这是的情况下。

; ^8 t) n4 @+ }5 N, n% i我们只需要你输入验证码，所以我们可以确认，你是一个人，而不是一个机器人。

alitraffic

结合decaptcha不行吗？

阿百川

alitraffic 发表于 2013-11-22 17:22
1 b8 P$ U% x) [3 u结合decaptcha不行吗？

6 }8 B& Q6 w2 s8 r7 ?$ V小试了下，烧的太厉害了

billy

试试直接从搜索引擎采集看看封不封。用site:ezinearticles.com，google一般采集的多会要求验证，采集bing可能更好点。或者试试google缓存页。

firearmer

根据目测，如果有一些美国ip，然后打开每一篇文章都切换一下ip，间隔稍微长一些，那么应该没啥问题。

阿百川

billy 发表于 2013-11-22 18:24
试试直接从搜索引擎采集看看封不封。用site:ezinearticles.com，google一般采集的多会要求验证，采集bing可 ...

! `$ k" [3 a* I5 b2 b) z$ T( hbing的缓存页url搞不定，gg的缓存还可以，勉强能有龟速

阿百川

firearmer 发表于 2013-11-22 18:59
根据目测，如果有一些美国ip，然后打开每一篇文章都切换一下ip，间隔稍微长一些，那么应该没啥问题。 ...

# _% |. V9 X' k, I# ^3 P4 e根据实测，间隔短无效，间隔长效率太低

Atrus

以前挂多个代理IP 间隔还可以采 现在不行了
$ z7 J1 K' t- t9 J+ D0 ?9 K6 i  zAS似乎是API调用的 具体不清楚

阿百川

Atrus 发表于 2013-11-22 19:37
2 m3 a6 F5 Y$ Q以前挂多个代理IP 间隔还可以采 现在不行了
AS似乎是API调用的 具体不清楚

以前一天采几十万很容易，后悔当初没扒光

ofneyyooa

你用多少个代理ip啊，　现在哪个卖代理的不是几千上万的啊.
  [$ ?$ I# l0 \- ^我还真没遇过采集不到的.

Atrus

ofneyyooa 发表于 2013-11-22 23:54
你用多少个代理ip啊，　现在哪个卖代理的不是几千上万的啊.
我还真没遇过采集不到的.
...

* A3 W% S  y; ^& z你试试就知道 有可能1个代理IP 只能采一篇。。。

阿百川

ofneyyooa 发表于 2013-11-22 23:54
" {; O. s2 g7 C% j  ]你用多少个代理ip啊，　现在哪个卖代理的不是几千上万的啊.
我还真没遇过采集不到的.
! y. G% j4 x% b5 C ...

7 p- T' U4 C+ w/ j' c, Y% j开始也是这么想的，实际操作。。。

阿百川

Atrus 发表于 2013-11-23 00:45
& `6 |1 Z) l8 K/ O7 K你试试就知道 有可能1个代理IP 只能采一篇。。。

目前采集gg缓存，效率勉强可以，一小时一千多条

小俞

为什么我可以随便采了。。。