有没有方法大批量复制亚马逊上的产品名称呢

luck

* v, E1 e/ m! F7 d; a' ?; n# O# e) M如题，谢谢，昐高手回复。               
" y& J- l" m8 w; X) ]2 @9 X

luck

有没有软件可以这样做呢？

ads419

API或者采集

luck

ads419 发表于 2015-7-31 12:14
API或者采集

API怎么用？
采集用那个软件，怎么设置？
$ n3 _7 N" n5 B; o1 c1 p
% f' s. W- ]5 F5 i6 W8 |谢谢！

李小冲

有，大半年前的数据，amazon.com里面有不到两万六千万的产品数据。
1 W. X% H* g: s  g. g: I# Z可以获取到产品名称和产品对应的网址，直接加上tag=your-xxx就可以推广了

luck

李小冲 发表于 2015-7-31 14:52
0 D) u% T& B. \$ w+ N! r: s6 F5 E有，大半年前的数据，amazon.com里面有不到两万六千万的产品数据。
# z/ G# z, l2 w5 k8 A可以获取到产品名称和产品对应的网址， ...

* I6 ~! c* I& B5 J' r; s. l7 D我现在想知道如何采集啊，请仔细说说啊。
  [. q# X- P  i& T! ~
; u' [8 C! o. Z" R/ \谢谢！

ads419

luck 发表于 2015-7-31 13:58
6 b- p1 t- R: u, f$ S( r# @API怎么用？
* c- D  f. U/ _0 }8 l) R采集用那个软件，怎么设置？

API怎么用要看文档啊
采集的话工具很多，比如火车头，使用方法和设置当然也是看文档啊

李小冲

你要的只是产品名称和产品URL吧。
$ {/ P2 ]* q1 M0 ?很简单:
( ^% z. Z6 A) t( w+ S* r. T4 y1.打开amazon.com的robots.txt文件，找到sitemap:
http://www.amazon.com/robots.txt
, a2 s$ Q2 Q5 P/ \$ [. S

1. # Sitemap files
   3 z) C7 s4 h; r9 Z+ C' f. o
2. Sitemap: http://www.amazon.com/sitemap-manual-index.xml
   
3. Sitemap: http://www.amazon.com/sitemap_vendor_videos_us.xml
   
4. Sitemap: http://www.amazon.com/sitemaps.4acb100d6c5a79c.SitemapIndex_0.xml.gz
   3 t1 A/ y  r  j+ h' p# d
5. Sitemap: http://www.amazon.com/sitemaps.f3053414d236e84.SitemapIndex_0.xml.gz
   4 h, L8 x4 K# y0 R7 @
6. Sitemap: http://www.amazon.com/sitemaps.1946f6b8171de60.SitemapIndex_0.xml.gz
   
7. Sitemap: http://www.amazon.com/sitemaps.bbb7d657c7e29fa.SitemapIndex_0.xml.gz
   
8. Sitemap: http://www.amazon.com/sitemaps.11aafed315ee654.SitemapIndex_0.xml.gz
   + R9 m& Z/ I8 P. Y3 V# @  V& K
9. Sitemap: http://www.amazon.com/sitemaps.c21f969b5f03d33.SitemapIndex_0.xml.gz
   
10. Sitemap: http://www.amazon.com/sitemaps.1470994145d5519.SitemapIndex_0.xml.gz

复制代码

2.找到相对应的产品的sitemap的索引压缩文件。
* J, {/ `: f/ r. T0 `9 ?7 t+ [( F3.下载索引压缩文件后解压。
1 N( H- Y) [) F# G; q' b! _! p4.将解压后的索引文件只的sitemap的url取出来，放到迅雷里面将上百个对应的产品sitemap的压缩文件下载下来。
2 ]+ b# w( ~+ w. H5.下载后解压这些sitemap压缩文件。
/ e7 T8 N! l) K' U- A6 }6.写程序读取解压后的xml文件，取出里面的<loc>http://www.amazon.com/你要的产品名称等 </loc>值存到数据库里就可以了。
7.没有什么了吧，剩下就由你自己发挥弄吧。

3 p; I1 a1 ?8 k8 R9 W感觉利用sitemap的方法能快一些，我没有用过api，听说api有调用限制的。
' v; \2 c: a& x% ^% Z2 f
# ?& |+ w* {) v1 Q( ]! A各位喜欢的赶快顶我一下吧。
/ L- V2 A. }& J( z% b2 y. M
1 Q0 m; H, P9 p5 J$ D' I" |

lcxpmp

回复楼上，他一定不懂。

feego

火车头采集

seanhere

同上，火车头采集比较易上手

李小冲

火车头采集两亿六千多万的数据得需要多久呢，而且从哪里开始作为采集的入口呢

zhuzhaodan

李小冲 发表于 2015-7-31 17:09
! Q. O2 T$ U. q2 d) _你要的只是产品名称和产品URL吧。
* P8 l7 @6 {( T4 F8 b  v! r很简单:
& ~% N: v9 Y; Q1.打开amazon.com的robots.txt文件，找到sitemap:

& p7 Y" a. F) I' m早点看到你的回复就好了，我之前都是用DOMXPath分析网页URL规律，提取分页页数，提取大分类，。。。。分类N的url，然后循环请求几十万次最后得到商品列表。。。结果我昨天发现用sitemap太方便了，直接就采集了，url很全，不用自己去收集url，问题来了，是买n个vps服务器（n个ip同时采集），还是买高匿代理ip，这个我不太懂，我就用的家里ip采集，不敢快了

李小冲

zhuzhaodan 发表于 2015-8-2 20:48
& t* r6 K4 P5 @. v早点看到你的回复就好了，我之前都是用DOMXPath分析网页URL规律，提取分页页数，提取大分类，。。。。分 ...

3 |3 e# g5 l& a你是需要采集不仅仅是产品名称，还有产品图片等其它属性么
产品图片不建议采，太占用空间了，可以直接调用amazon的产品地址，你可以进入aff后台，找到产品推广的地方，看看产品对应的图片就明白啦，我就使用的是amazon的图片地址。
/ _) j8 \, D0 F3 D