找回密码
 立即注册

QQ登录

只需一步,快速开始

PropellerAds
⚡️按条S5代理⚡️静态⚡️独享⚡️5GMediabuy⚡️玩家开户首选【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户
Affiliate 全媒体流量资源⚡️Taboola/Outbrain /Bing⚡️一级代理开户投流-7*24h❤️人工在线【官方】❤️搜索套利买量投流开户
独立站⚡️开户投放Google FB TK游戏代投⚡️E.PN 虚拟卡⚡️BINOM TRACKER 60% OFF!
比Adplexity还好用的Spy工具ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理全球虚拟卡, 支持U充值
【15 年团队 - 广告自动化系统、定制开发】【ActionKey】Meta API 桥接令牌尤里改 - FB 稳定投放【神盾 AI】Meta 广告资产防护 永久免费
FB 三不限源头 - 自助下户充值转款各种主页、账单户、BM户(优势)IPCola原生住宅IP⚡️$1.8/条双ISPTK加白户/二解户/FB海外户/GG老户
最大欧洲Nutra网盟BA找量 FB高权重耐操个号⚡️稳定过审联盟收款/海外资金下发/服贸结汇✔Taboola海外户源头
全球效果广告投放平台|Vertoz IngeniousPlexSX.ORG 住宅IP | 凭码ADVERT3免费领3GB广告位出租 
查看: 13387|回复: 8

[讨论] 不能采集亚马逊?

[复制链接]

20

主题

33

广告币

233

积分

初级会员

积分
233
发表于 2015-11-3 05:51:27 | 显示全部楼层 |阅读模式
今天和一个朋友说起采集亚马逊,朋友说亚马逊不允许,我看了亚马逊联盟的说明,没有看到这一条啊" ?% l# x+ U& d; {0 _
有经验的前辈怎么看?
) X; X% u7 V% I: @( |2 s) F6 m- c" t8 q9 r, p) G8 h5 b' y
相关帖子
Binom_AdvertCN
回复

使用道具 举报

2

主题

532

广告币

645

积分

中级会员

积分
645

社区QQ达人

发表于 2015-11-3 09:26:06 | 显示全部楼层
回复 支持 反对

使用道具 举报

6

主题

114

广告币

154

积分

初级会员

技术流 / 爬虫党

积分
154
发表于 2015-11-3 13:45:52 | 显示全部楼层
什么叫不允许?/ O$ A8 I, s4 f3 |( a$ H4 C, l
我这边专门帮人做数据采集,监控和分析。也做过要采集亚马逊商品数据的客户阿,没什么问题。当然会有一些反爬虫的障碍。你说的不能采集的具体是指什么?

点评

我的意思是采集亚马逊做垃圾站,朋友说会被k 前辈怎么破亚马逊的反爬虫的?我现在只是定时自动刷新,如果出现那个robot check就打码 有别的思路吗?  详情 回复 发表于 2015-11-4 01:54
http://www.jiashidata.com/gg/
回复 支持 反对

使用道具 举报

20

主题

33

广告币

233

积分

初级会员

积分
233
 楼主| 发表于 2015-11-4 01:54:38 | 显示全部楼层
dersu 发表于 2015-11-3 13:45
" N0 d- G9 o/ n- \+ {: _& W8 \什么叫不允许?  u& P# k' h/ W% {
我这边专门帮人做数据采集,监控和分析。也做过要采集亚马逊商品数据的客户阿,没什么问题 ...

4 _2 ?  ~8 j7 m8 U4 }* v/ f: [: s我的意思是采集亚马逊做垃圾站,朋友说会被k
2 m+ L3 A! @$ G; A/ P前辈怎么破亚马逊的反爬虫的?我现在只是定时自动刷新,如果出现那个robot check就打码& a: D5 {* f7 `' ?. ?/ I% b  x
有别的思路吗?

点评

量不大的话,楼下 @阿百川 兄弟说的是正解 否则你肯定会碰上RobotCheck,或者0或空字段 但API的限制我没记错的话是1秒,大数据级的话基本是会把自己憋屈死的 我这边因为同时为客户跑非常多的爬虫,常规有一个大概2  详情 回复 发表于 2015-11-4 16:52
回复 支持 反对

使用道具 举报

54

主题

9

广告币

6010

积分

禁止访问

积分
6010
发表于 2015-11-4 10:31:56 | 显示全部楼层
feego 发表于 2015-11-4 01:54; p# F# O* M" B8 V% `0 _
我的意思是采集亚马逊做垃圾站,朋友说会被k
5 ~0 w/ j, ?+ w5 x. R前辈怎么破亚马逊的反爬虫的?我现在只是定时自动刷新,如果 ...
1 y6 b6 E* ?2 F- }( C; i$ Z
amazon有api,不用自己去采集

点评

亚马逊本身的api限制太多,对我来说基本无用  详情 回复 发表于 2015-11-5 03:39
回复 支持 反对

使用道具 举报

2

主题

1488

广告币

1830

积分

高级会员

积分
1830

社区QQ达人

发表于 2015-11-4 10:36:49 | 显示全部楼层
把amazon的sitemap下载下来,然后通过里面的product url进行采集相关的数据
回复 支持 反对

使用道具 举报

6

主题

114

广告币

154

积分

初级会员

技术流 / 爬虫党

积分
154
发表于 2015-11-4 16:52:59 | 显示全部楼层
feego 发表于 2015-11-4 01:548 E! u# a  n8 |9 v4 q2 a8 H: B
我的意思是采集亚马逊做垃圾站,朋友说会被k
, z' H! s7 p1 x* N! t: }$ Y前辈怎么破亚马逊的反爬虫的?我现在只是定时自动刷新,如果 ...

8 @: M4 B+ @9 |量不大的话,楼下 @阿百川 兄弟说的是正解5 i7 C5 R9 P8 u& s2 v  O/ Q7 r
否则你肯定会碰上RobotCheck,或者0或空字段3 D$ f0 V" L% B3 V2 V
但API的限制我没记错的话是1秒,大数据级的话基本是会把自己憋屈死的
% c& c$ l+ x1 _! f( f. J/ C% X3 l" C# `# I
我这边因为同时为客户跑非常多的爬虫,常规有一个大概2万的匿名代理池,一般有客户要爬东西,直接先上代理池大并发,如果不行再仔细研究网站和其他方法,如果每一个网站都仔细研究他们反爬技术的话,会累死的,呵呵
+ G0 p7 M; A1 P( M4 Q! e) w
) G- a. Z  v0 m( Q# W0 g% ]" F8 M* ]@李小冲 说的方法如果你没试过也一定要试一下,能减少很大工作量
7 M* L/ Z/ I' u9 e. k3 J7 ]! I( F( J: r5 [8 Q! V1 S& f0 f
通常来说,爬一个网站之前,先看这三点:有没有API, 有没有Mobile站,有没有sitemap,吃过无数次亏的血泪经验,哈

点评

多谢~~~~~~~~~~~~~~~~  详情 回复 发表于 2015-11-5 03:42
http://www.jiashidata.com/gg/
回复 支持 反对

使用道具 举报

20

主题

33

广告币

233

积分

初级会员

积分
233
 楼主| 发表于 2015-11-5 03:39:11 来自手机 | 显示全部楼层
阿百川 发表于 2015-11-4 10:31
" Q4 Q. R: o& u# `2 namazon有api,不用自己去采集
. N/ s' f" \  h4 S4 K' v' H- L5 V
亚马逊本身的api限制太多,对我来说基本无用
回复 支持 反对

使用道具 举报

20

主题

33

广告币

233

积分

初级会员

积分
233
 楼主| 发表于 2015-11-5 03:42:42 来自手机 | 显示全部楼层
dersu 发表于 2015-11-4 16:52( M8 h: w( C$ h/ K0 ^1 y; P
量不大的话,楼下 @阿百川 兄弟说的是正解3 X3 H2 x& `5 o
否则你肯定会碰上RobotCheck,或者0或空字段
7 t9 |: l! M- @0 m! m  |5 E但API的限制我没 ...
4 I% H7 p( {" }1 Z! J
多谢~~~~~~~~~~~~~~~~
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2026-11-20 18:53 , Processed in 0.076664 second(s), 28 queries , Gzip On.

Copyright © 2001-2026, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表