有没有方法大批量复制亚马逊上的产品名称呢

luck

0 T8 L. J& @/ N  j
2 _' j9 `+ U7 f" C8 b2 [如题，谢谢，昐高手回复。               

luck

有没有软件可以这样做呢？

ads419

API或者采集

luck

ads419 发表于 2015-7-31 12:14
  i0 u* H" y( O' `; Z+ d- fAPI或者采集

API怎么用？
8 s- E2 t+ z5 i采集用那个软件，怎么设置？
: j) S: B3 ]% N  u& @! m
3 ?1 l/ ]$ {2 G. G6 S谢谢！

李小冲

有，大半年前的数据，amazon.com里面有不到两万六千万的产品数据。
7 U4 x9 j5 i4 j- V可以获取到产品名称和产品对应的网址，直接加上tag=your-xxx就可以推广了

luck

李小冲 发表于 2015-7-31 14:52
3 x8 c/ w3 d" j( F; {: B有，大半年前的数据，amazon.com里面有不到两万六千万的产品数据。
, z$ ?+ r0 u  a0 J/ k1 H, d可以获取到产品名称和产品对应的网址， ...

. I2 w3 }! G/ e7 p% M/ W6 F" \" D9 B7 ?我现在想知道如何采集啊，请仔细说说啊。
4 M) h, v# @8 e# B. i
谢谢！

ads419

luck 发表于 2015-7-31 13:58
' V3 b% f8 a6 P- l  ~$ n+ R, uAPI怎么用？
  W& O% }4 k  S: A9 h. U/ Q采集用那个软件，怎么设置？

API怎么用要看文档啊
, q3 m" H: z: R/ `' g采集的话工具很多，比如火车头，使用方法和设置当然也是看文档啊

李小冲

你要的只是产品名称和产品URL吧。
5 K0 _% `3 `: H很简单:
6 X6 G8 @3 ?' y8 G# I1.打开amazon.com的robots.txt文件，找到sitemap:
http://www.amazon.com/robots.txt
% I# @1 c/ h3 D1 G# x1 B% j% ~

1. # Sitemap files
   # M" ~  ]4 o+ X9 Z3 z& P4 d0 c$ p7 @6 N
2. Sitemap: http://www.amazon.com/sitemap-manual-index.xml
   
3. Sitemap: http://www.amazon.com/sitemap_vendor_videos_us.xml
   * A! r% ~9 a- r; d: i3 M6 f
4. Sitemap: http://www.amazon.com/sitemaps.4acb100d6c5a79c.SitemapIndex_0.xml.gz
   " A, Z: U: K* m% ^
5. Sitemap: http://www.amazon.com/sitemaps.f3053414d236e84.SitemapIndex_0.xml.gz
   
6. Sitemap: http://www.amazon.com/sitemaps.1946f6b8171de60.SitemapIndex_0.xml.gz
   
7. Sitemap: http://www.amazon.com/sitemaps.bbb7d657c7e29fa.SitemapIndex_0.xml.gz
   " E* N" z) N, h; A( e' T4 ?- y" ~" F
8. Sitemap: http://www.amazon.com/sitemaps.11aafed315ee654.SitemapIndex_0.xml.gz
   
9. Sitemap: http://www.amazon.com/sitemaps.c21f969b5f03d33.SitemapIndex_0.xml.gz
   - m: l7 ^: M# a) Z
10. Sitemap: http://www.amazon.com/sitemaps.1470994145d5519.SitemapIndex_0.xml.gz

复制代码

2.找到相对应的产品的sitemap的索引压缩文件。
3.下载索引压缩文件后解压。
4.将解压后的索引文件只的sitemap的url取出来，放到迅雷里面将上百个对应的产品sitemap的压缩文件下载下来。
9 c! u. k5 n+ E9 I8 }5.下载后解压这些sitemap压缩文件。
8 D$ s; ~" d, g* m' c4 w* E. b6.写程序读取解压后的xml文件，取出里面的<loc>http://www.amazon.com/你要的产品名称等 </loc>值存到数据库里就可以了。
2 |' f: N" s  c$ g$ ?+ a7.没有什么了吧，剩下就由你自己发挥弄吧。
) d# G5 J4 K+ b" K& B7 g
感觉利用sitemap的方法能快一些，我没有用过api，听说api有调用限制的。

各位喜欢的赶快顶我一下吧。

lcxpmp

回复楼上，他一定不懂。

feego

火车头采集

seanhere

同上，火车头采集比较易上手

李小冲

火车头采集两亿六千多万的数据得需要多久呢，而且从哪里开始作为采集的入口呢

zhuzhaodan

李小冲 发表于 2015-7-31 17:09
3 L0 a7 m( |. n, T* _' [: m  \3 s你要的只是产品名称和产品URL吧。
很简单:
+ M& d& I, q/ a4 j1.打开amazon.com的robots.txt文件，找到sitemap:

早点看到你的回复就好了，我之前都是用DOMXPath分析网页URL规律，提取分页页数，提取大分类，。。。。分类N的url，然后循环请求几十万次最后得到商品列表。。。结果我昨天发现用sitemap太方便了，直接就采集了，url很全，不用自己去收集url，问题来了，是买n个vps服务器（n个ip同时采集），还是买高匿代理ip，这个我不太懂，我就用的家里ip采集，不敢快了

李小冲

zhuzhaodan 发表于 2015-8-2 20:48
) ]  H2 t- {/ B早点看到你的回复就好了，我之前都是用DOMXPath分析网页URL规律，提取分页页数，提取大分类，。。。。分 ...

; N3 o* R! f1 D) a' Y! V你是需要采集不仅仅是产品名称，还有产品图片等其它属性么
7 b% F1 Y/ H" X# ~, Z3 P" p产品图片不建议采，太占用空间了，可以直接调用amazon的产品地址，你可以进入aff后台，找到产品推广的地方，看看产品对应的图片就明白啦，我就使用的是amazon的图片地址。
( ]! \! G: S' [3 W