有没有方法大批量复制亚马逊上的产品名称呢

luck · 发表于 2015-7-31 11:25:54

本帖最后由 luck 于 2015-7-31 11:59 编辑

如题，谢谢，昐高手回复。

luck · 发表于 2015-7-31 11:53:13

有没有软件可以这样做呢？

ads419 · 发表于 2015-7-31 12:14:56

API或者采集

luck · 发表于 2015-7-31 13:58:07

ads419 发表于 2015-7-31 12:142 l4 P% X7 j) W4 \" c2 V
API或者采集

API怎么用？
采集用那个软件，怎么设置？

谢谢！

李小冲 · 发表于 2015-7-31 14:52:31

有，大半年前的数据，amazon.com里面有不到两万六千万的产品数据。
可以获取到产品名称和产品对应的网址，直接加上tag=your-xxx就可以推广了

luck · 发表于 2015-7-31 15:54:07

李小冲发表于 2015-7-31 14:52
2 Q" I/ E/ g9 M: t7 O有，大半年前的数据，amazon.com里面有不到两万六千万的产品数据。3 w6 Z, o: R& u5 Q8 A, m
可以获取到产品名称和产品对应的网址， ...

我现在想知道如何采集啊，请仔细说说啊。

谢谢！

ads419 · 发表于 2015-7-31 15:58:40

luck 发表于 2015-7-31 13:580 Q( i+ W+ x* w+ C& Q( W8 K
API怎么用？# {; O) ]" ^0 S! a5 d/ Y
采集用那个软件，怎么设置？

API怎么用要看文档啊
采集的话工具很多，比如火车头，使用方法和设置当然也是看文档啊

李小冲 · 发表于 2015-7-31 17:09:37

你要的只是产品名称和产品URL吧。
很简单:
1.打开amazon.com的robots.txt文件，找到sitemap:
http://www.amazon.com/robots.txt

# Sitemap files. \; ~7 U/ |- K& k; u0 \: |
Sitemap: http://www.amazon.com/sitemap-manual-index.xml# e; E' P( w) u# L
Sitemap: http://www.amazon.com/sitemap_vendor_videos_us.xml! w6 ^# d+ `2 ?: _% I- P- U( n
Sitemap: http://www.amazon.com/sitemaps.4acb100d6c5a79c.SitemapIndex_0.xml.gz! w4 S2 h, ?1 w
Sitemap: http://www.amazon.com/sitemaps.f3053414d236e84.SitemapIndex_0.xml.gz
9 G2 L8 Q: O* l
Sitemap: http://www.amazon.com/sitemaps.1946f6b8171de60.SitemapIndex_0.xml.gz6 Q7 f( j( ~' r' h
Sitemap: http://www.amazon.com/sitemaps.bbb7d657c7e29fa.SitemapIndex_0.xml.gz
0 p6 B$ ]# o7 C
Sitemap: http://www.amazon.com/sitemaps.11aafed315ee654.SitemapIndex_0.xml.gz2 v% \4 {6 \2 V! y. d9 l
Sitemap: http://www.amazon.com/sitemaps.c21f969b5f03d33.SitemapIndex_0.xml.gz: X4 a+ C& I; x: R* @
Sitemap: http://www.amazon.com/sitemaps.1470994145d5519.SitemapIndex_0.xml.gz

复制代码

2.找到相对应的产品的sitemap的索引压缩文件。
3.下载索引压缩文件后解压。
4.将解压后的索引文件只的sitemap的url取出来，放到迅雷里面将上百个对应的产品sitemap的压缩文件下载下来。
5.下载后解压这些sitemap压缩文件。
6.写程序读取解压后的xml文件，取出里面的<loc>http://www.amazon.com/你要的产品名称等 </loc>值存到数据库里就可以了。
7.没有什么了吧，剩下就由你自己发挥弄吧。

感觉利用sitemap的方法能快一些，我没有用过api，听说api有调用限制的。

各位喜欢的赶快顶我一下吧。

lcxpmp · 发表于 2015-7-31 21:03:38

回复楼上，他一定不懂。

feego · 发表于 2015-8-1 03:18:25

火车头采集

seanhere · 发表于 2015-8-2 17:17:31

同上，火车头采集比较易上手

李小冲 · 发表于 2015-8-2 20:24:02

火车头采集两亿六千多万的数据得需要多久呢，而且从哪里开始作为采集的入口呢

zhuzhaodan · 发表于 2015-8-2 20:48:03

李小冲发表于 2015-7-31 17:096 B$ Q) e( K- L a- o
你要的只是产品名称和产品URL吧。, X5 O2 Y3 e8 p" }8 H/ K2 [; G/ F9 z) n
很简单:* @4 X0 d* }) l q
1.打开amazon.com的robots.txt文件，找到sitemap:

早点看到你的回复就好了，我之前都是用DOMXPath分析网页URL规律，提取分页页数，提取大分类，。。。。分类N的url，然后循环请求几十万次最后得到商品列表。。。结果我昨天发现用sitemap太方便了，直接就采集了，url很全，不用自己去收集url，问题来了，是买n个vps服务器（n个ip同时采集），还是买高匿代理ip，这个我不太懂，我就用的家里ip采集，不敢快了

李小冲 · 发表于 2015-8-2 22:31:24

zhuzhaodan 发表于 2015-8-2 20:48+ U6 g9 T* H* Q" R+ O, m
早点看到你的回复就好了，我之前都是用DOMXPath分析网页URL规律，提取分页页数，提取大分类，。。。。分 ...

你是需要采集不仅仅是产品名称，还有产品图片等其它属性么
产品图片不建议采，太占用空间了，可以直接调用amazon的产品地址，你可以进入aff后台，找到产品推广的地方，看看产品对应的图片就明白啦，我就使用的是amazon的图片地址。

		自动登录	找回密码
密码			立即注册

谷歌+Bing+TT+MSN官方代理	⚡️按条S5代理⚡️静态⚡️独享⚡️5G	皇家代理IP⚡️#1性价比⚡️	Mediabuy⚡️玩家开户首选
【鲁班跨境通-自助充值转账】	FB/GG/TT❤️官方免费开户	Affiliate 全媒体流量资源⚡️	Taboola/Outbrain /Bing⚡️一级代理
*开户投流-724h❤️人工在线**	【官方】❤️搜索套利买量投流开户	独立站⚡️开户投放	FB BM不限额，短id账单户
E.PN 虚拟卡	DuoPlus专注打造跨境电商云手机	BINOM TRACKER 60% OFF!	比Adplexity还好用的Spy工具
ADPLEXITY + ADVERTCN	7200W全球动态不重复住宅IP代理	虚拟信用卡+独立站收款	全球虚拟卡, 支持U充值
Facebook 批量上广告	尤里改 - FB 稳定投放	免费黑五教程（持续更新、欢迎交流）	FB 三不限源头 - 自助下户充值转款
各种主页、账单户、BM户（优势）	⚡️个人户，bm户不限额，账单户	Google、Bing官方总代联盟流量开户	FB资源，账单户，分享户，国内一手
FB企业户BM户账单户源头	海外CL企业户源头	PTM全球虚拟卡—进来交个朋友!	PTM虚拟卡⚡️费率透明⚡️额度随心
FB虚拟卡⚡️消费越多返现越多	虚拟卡 - Pay2.House	【找量】BA独家Nutra单找量	广告位出租
8500万高质量住宅IP，助力各种需求	虚拟卡返佣1%，国内持牌机构

有没有方法大批量复制亚马逊上的产品名称呢

相关帖子

点评

评分

点评

点评

评分

点评

评分

点评

社区QQ达人