求采集ezinearticles的高招，封ip太狠了

阿百川

准备了十几个ip，采了不到300条就封完了
+ D/ c9 Z4 n& ~
1 O8 j# ?0 _% k. E$ @; P7 A% `设置了采集间隔，短了没用，长了效率太低

' ^$ U+ M2 ?" B( w8 R3 w3 e5 N求高人指点

1 ^! X9 h# z; [3 H

小俞

     您或您的网络上有人正在运行一个机器人爬行我们的网站。
        请与您的网络管理员联系，如果你相信这是的情况下。

/ E  W+ i/ O4 C7 L1 I* g; M; J我们只需要你输入验证码，所以我们可以确认，你是一个人，而不是一个机器人。

alitraffic

结合decaptcha不行吗？

阿百川

alitraffic 发表于 2013-11-22 17:22
结合decaptcha不行吗？

( Z( J3 T" o7 ?+ A: d小试了下，烧的太厉害了

billy

试试直接从搜索引擎采集看看封不封。用site:ezinearticles.com，google一般采集的多会要求验证，采集bing可能更好点。或者试试google缓存页。

firearmer

根据目测，如果有一些美国ip，然后打开每一篇文章都切换一下ip，间隔稍微长一些，那么应该没啥问题。

阿百川

billy 发表于 2013-11-22 18:24
9 ^: C2 {2 G" [$ m/ G试试直接从搜索引擎采集看看封不封。用site:ezinearticles.com，google一般采集的多会要求验证，采集bing可 ...

bing的缓存页url搞不定，gg的缓存还可以，勉强能有龟速

阿百川

firearmer 发表于 2013-11-22 18:59
根据目测，如果有一些美国ip，然后打开每一篇文章都切换一下ip，间隔稍微长一些，那么应该没啥问题。 ...

. t$ M4 g( H: a, `5 M4 T根据实测，间隔短无效，间隔长效率太低

Atrus

以前挂多个代理IP 间隔还可以采 现在不行了
6 z: N. G& a$ Q: l, [AS似乎是API调用的 具体不清楚

阿百川

Atrus 发表于 2013-11-22 19:37
  J/ Q' e* D% |+ o以前挂多个代理IP 间隔还可以采 现在不行了
$ v( S9 A& e- E) V- J: T4 h4 nAS似乎是API调用的 具体不清楚

$ T: w! F9 h" h) E以前一天采几十万很容易，后悔当初没扒光

ofneyyooa

你用多少个代理ip啊，　现在哪个卖代理的不是几千上万的啊.
我还真没遇过采集不到的.
' X; [6 g( U6 _3 H9 D, y7 @8 f2 C! Y

Atrus

ofneyyooa 发表于 2013-11-22 23:54
你用多少个代理ip啊，　现在哪个卖代理的不是几千上万的啊.
$ Q7 n8 S- W4 ]" w我还真没遇过采集不到的.
9 v  v( M1 ?; P( O' @/ R* ^ ...

你试试就知道 有可能1个代理IP 只能采一篇。。。

阿百川

ofneyyooa 发表于 2013-11-22 23:54
你用多少个代理ip啊，　现在哪个卖代理的不是几千上万的啊.
2 `3 ]7 X3 f0 H; c8 G我还真没遇过采集不到的.
...

' I  i' G! p8 t2 P6 @1 a开始也是这么想的，实际操作。。。

阿百川

Atrus 发表于 2013-11-23 00:45
! I4 B! l1 |" H" {: B9 f你试试就知道 有可能1个代理IP 只能采一篇。。。

目前采集gg缓存，效率勉强可以，一小时一千多条

小俞

- @6 P$ e8 t) u
为什么我可以随便采了。。。