找回密码
 立即注册

QQ登录

只需一步,快速开始

PropellerAds
⚡️按条S5代理⚡️静态⚡️独享⚡️5GMediabuy⚡️玩家开户首选【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户
Affiliate 全媒体流量资源⚡️Taboola/Outbrain /Bing⚡️一级代理开户投流-7*24h❤️人工在线【官方】❤️搜索套利买量投流开户
独立站⚡️开户投放Google FB TK游戏代投⚡️E.PN 虚拟卡⚡️BINOM TRACKER 60% OFF!
比Adplexity还好用的Spy工具ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理全球虚拟卡, 支持U充值
【15 年团队 - 广告自动化系统、定制开发】【ActionKey】Meta API 桥接令牌尤里改 - FB 稳定投放【神盾 AI】Meta 广告资产防护 永久免费
FB 三不限源头 - 自助下户充值转款各种主页、账单户、BM户(优势)IPCola原生住宅IP⚡️$1.8/条双ISPTK加白户/二解户/FB海外户/GG老户
最大欧洲Nutra网盟BA找量 FB高权重耐操个号⚡️稳定过审联盟收款/海外资金下发/服贸结汇✔Taboola海外户源头
全球效果广告投放平台|Vertoz IngeniousPlexSX.ORG 住宅IP | 凭码ADVERT3免费领3GB广告位出租 
楼主: 阿百川

[业界] 求采集ezinearticles的高招,封ip太狠了

[复制链接]

5

主题

16

广告币

89

积分

初级会员

积分
89
发表于 2013-11-26 21:02:39 | 显示全部楼层
可以修改 User Agent 为google的爬虫,它就不敢轻易的封你了
Binom_AdvertCN
回复 支持 反对

使用道具 举报

3

主题

56

广告币

184

积分

初级会员

积分
184

社区QQ达人

发表于 2013-11-26 21:14:39 | 显示全部楼层
阿百川 发表于 2013-11-26 20:54
3 X8 X6 [; e/ u; R十几万,用gg缓存采的差不多了,本来想搞整站来着

' t* Q7 d  s& @0 N  R刚找到方法采,都差不多那算了
回复 支持 反对

使用道具 举报

54

主题

9

广告币

6010

积分

禁止访问

积分
6010
 楼主| 发表于 2013-11-27 07:33:40 | 显示全部楼层
微笑君 发表于 2013-11-26 21:02
  U5 _9 u$ U1 D3 h9 F可以修改 User Agent 为google的爬虫,它就不敢轻易的封你了
* r1 u2 C8 F9 i2 M) z( |
各种爬虫、手机端的ua都试过,没用
回复 支持 反对

使用道具 举报

54

主题

9

广告币

6010

积分

禁止访问

积分
6010
 楼主| 发表于 2013-11-27 07:34:47 | 显示全部楼层
小俞 发表于 2013-11-26 21:14
$ k  I3 Q' G% _: X( t" z刚找到方法采,都差不多那算了
' d3 ]  o5 b* x0 f
求方法,看看可不可以提高效率去扒整站
回复 支持 反对

使用道具 举报

SIR 该用户已被删除
发表于 2013-11-27 07:41:24 | 显示全部楼层
测试时间间隔撒,采集这个本来就是长期打算的,楼主太急了。不要一下子吃成胖子哈
回复 支持 反对

使用道具 举报

54

主题

9

广告币

6010

积分

禁止访问

积分
6010
 楼主| 发表于 2013-11-27 17:32:43 | 显示全部楼层
SIR 发表于 2013-11-27 07:41 9 v+ Q( {6 |8 I( V# A. T
测试时间间隔撒,采集这个本来就是长期打算的,楼主太急了。不要一下子吃成胖子哈 ...

$ F% L5 ?3 e4 S2 E( I恩,看现在这批数据的处理结果如何,如果不错就慢慢采
回复 支持 反对

使用道具 举报

3

主题

3

广告币

14

积分

新手上路

积分
14
发表于 2013-12-8 17:31:42 | 显示全部楼层
我曾使用的办法
, J" |9 J5 X. }  V1、google  iP 代理,会找到一些提供免费代理ip网站: s) }  {$ \$ G( y$ \0 F
2、分别打开每个网站,复制ip和端口号到excell- \& o% ~2 e* l8 w  u: G. D1 o
3、调整excell,最终得到一个表只有一列,形如199.199.199.199:199,过程繁琐,不过熟练了也快
, p2 S' j, z' M3 D2 [5 Q) r4、所有的ip和端口号用逗号隔开,保存到一个文本文件5 ^5 ^" X; Y  P9 k1 _, W% q" G: F' y
5、php做一个程序,读取这个文本文件,按逗号保存到一个数组中,每次随机取出一个' X: e$ L2 b$ ^& d' M6 t  u, l
6、php写一段采集代码,用取出的这个代理ip,用完以后从数组中删除这个ip,把整个数组再用逗号隔开,保存到同名文本文件
% s# Y9 e# [' m2 v' I- U) e2 L1 }0 G7、隔几天到那几个网站,复制新的代理ip  d$ L$ g) z8 O2 ]2 e$ T
8、重复以上步骤
回复 支持 反对

使用道具 举报

54

主题

9

广告币

6010

积分

禁止访问

积分
6010
 楼主| 发表于 2013-12-9 07:31:33 | 显示全部楼层
jk1s 发表于 2013-12-8 17:31
3 M4 }- Z, m5 Y6 p2 |% _, U: q# m我曾使用的办法
! Z: U5 }5 ^! Z' [1、google  iP 代理,会找到一些提供免费代理ip网站. G, ^$ b1 w! u0 K
2、分别打开每个网站,复制ip和端口号 ...

0 U, O8 n, T! h' {* |; A也是采集的ez?多久之前?$ m2 X6 n) {& v8 }9 j
1 V% b. O$ z% t& q/ H1 \; H  B5 t
尝试过使用代理,效率很差
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2026-11-20 23:26 , Processed in 0.067562 second(s), 25 queries , Gzip On.

Copyright © 2001-2026, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表