求采集ezinearticles的高招，封ip太狠了

阿百川

准备了十几个ip，采了不到300条就封完了

' E  V9 |4 H' d  [5 H: f3 z设置了采集间隔，短了没用，长了效率太低
* N! X) _/ j, \  W; o3 j% Z' s0 {
' u# C( v' w+ q0 m4 I3 D求高人指点
6 x7 A+ T" \! f6 q- U, D

小俞

     您或您的网络上有人正在运行一个机器人爬行我们的网站。
/ e+ z+ m" I  I0 X$ ]        请与您的网络管理员联系，如果你相信这是的情况下。
+ Z' K4 `- x5 ^" ]+ s
. W* l* e2 ]5 A* t  b5 J我们只需要你输入验证码，所以我们可以确认，你是一个人，而不是一个机器人。

alitraffic

结合decaptcha不行吗？

阿百川

alitraffic 发表于 2013-11-22 17:22
8 l$ Z, [3 u8 l结合decaptcha不行吗？

小试了下，烧的太厉害了

billy

试试直接从搜索引擎采集看看封不封。用site:ezinearticles.com，google一般采集的多会要求验证，采集bing可能更好点。或者试试google缓存页。

firearmer

根据目测，如果有一些美国ip，然后打开每一篇文章都切换一下ip，间隔稍微长一些，那么应该没啥问题。

阿百川

billy 发表于 2013-11-22 18:24
试试直接从搜索引擎采集看看封不封。用site:ezinearticles.com，google一般采集的多会要求验证，采集bing可 ...

+ R1 z; d; K" g" i2 @1 Nbing的缓存页url搞不定，gg的缓存还可以，勉强能有龟速

阿百川

firearmer 发表于 2013-11-22 18:59
4 D6 a* {: K& @  i3 r根据目测，如果有一些美国ip，然后打开每一篇文章都切换一下ip，间隔稍微长一些，那么应该没啥问题。 ...

% S0 l% ]& b  a$ ]1 Y根据实测，间隔短无效，间隔长效率太低

Atrus

以前挂多个代理IP 间隔还可以采 现在不行了
6 T9 Z4 R3 i1 y+ i. `AS似乎是API调用的 具体不清楚

阿百川

Atrus 发表于 2013-11-22 19:37
( v: X0 N: C0 Z, V' t; T$ a  j4 T/ }以前挂多个代理IP 间隔还可以采 现在不行了
AS似乎是API调用的 具体不清楚

以前一天采几十万很容易，后悔当初没扒光

ofneyyooa

你用多少个代理ip啊，　现在哪个卖代理的不是几千上万的啊.
; s0 a9 s0 o0 R5 \9 _. p我还真没遇过采集不到的.
4 t3 j* T# P; \% `4 k

Atrus

ofneyyooa 发表于 2013-11-22 23:54
3 ]. k9 q+ T' O! a你用多少个代理ip啊，　现在哪个卖代理的不是几千上万的啊.
4 a  c; s2 n, i( I我还真没遇过采集不到的.
5 ~3 r3 O* m% {# [ ...

! \: z/ }2 x: D* f0 Z你试试就知道 有可能1个代理IP 只能采一篇。。。

阿百川

ofneyyooa 发表于 2013-11-22 23:54
/ e# l/ H- K4 @9 h6 _+ Q你用多少个代理ip啊，　现在哪个卖代理的不是几千上万的啊.
我还真没遇过采集不到的.
+ e$ q9 `) Z% T. ^0 V, z1 o ...

9 [0 w: h+ m8 b$ w6 H( ^$ y# e开始也是这么想的，实际操作。。。

阿百川

Atrus 发表于 2013-11-23 00:45
; T5 G, I( Y3 v3 [4 S0 F  F你试试就知道 有可能1个代理IP 只能采一篇。。。

目前采集gg缓存，效率勉强可以，一小时一千多条

小俞

为什么我可以随便采了。。。