有没有方法大批量复制亚马逊上的产品名称呢

luck

如题，谢谢，昐高手回复。               

. q1 B: v$ f' K

luck

有没有软件可以这样做呢？

ads419

API或者采集

luck

ads419 发表于 2015-7-31 12:14
- L' V7 Z6 F6 O, ]3 {& \4 aAPI或者采集

API怎么用？
7 f: V, B/ @8 r( q+ X- G7 W1 H采集用那个软件，怎么设置？

3 X+ s/ U* G0 f( O1 G& P" q6 q; c谢谢！

李小冲

有，大半年前的数据，amazon.com里面有不到两万六千万的产品数据。
4 P' Q* Z9 S% I$ A; ~* O可以获取到产品名称和产品对应的网址，直接加上tag=your-xxx就可以推广了

luck

李小冲 发表于 2015-7-31 14:52
. Y9 ~! \5 z- @* F有，大半年前的数据，amazon.com里面有不到两万六千万的产品数据。
可以获取到产品名称和产品对应的网址， ...

# m8 l: I; l4 Q! S( P# ^我现在想知道如何采集啊，请仔细说说啊。

4 k/ K& K+ \- f- e5 h谢谢！

ads419

luck 发表于 2015-7-31 13:58
API怎么用？
; g4 ]. o- |6 t! a; x采集用那个软件，怎么设置？

" Y( i' Y% p$ {: GAPI怎么用要看文档啊
采集的话工具很多，比如火车头，使用方法和设置当然也是看文档啊

李小冲

你要的只是产品名称和产品URL吧。
很简单:
- J6 T" J. l& T) U4 V/ k8 M1.打开amazon.com的robots.txt文件，找到sitemap:
* U+ L( c8 o5 c, Z2 {/ Qhttp://www.amazon.com/robots.txt
4 [& l7 K; I. e

1. # Sitemap files
   
2. Sitemap: http://www.amazon.com/sitemap-manual-index.xml
   & e, r" }# G3 i8 D% B' x' `. w7 x( D
3. Sitemap: http://www.amazon.com/sitemap_vendor_videos_us.xml
   3 Z$ \, c5 P/ \% I% h; k
4. Sitemap: http://www.amazon.com/sitemaps.4acb100d6c5a79c.SitemapIndex_0.xml.gz
   
5. Sitemap: http://www.amazon.com/sitemaps.f3053414d236e84.SitemapIndex_0.xml.gz
   4 m4 ^& m" Y% e. H) A: m$ G# ]6 S
6. Sitemap: http://www.amazon.com/sitemaps.1946f6b8171de60.SitemapIndex_0.xml.gz
   , o  ^* s. i' T* s1 n: d
7. Sitemap: http://www.amazon.com/sitemaps.bbb7d657c7e29fa.SitemapIndex_0.xml.gz
     R4 F3 P" s7 H2 v, _
8. Sitemap: http://www.amazon.com/sitemaps.11aafed315ee654.SitemapIndex_0.xml.gz
   
9. Sitemap: http://www.amazon.com/sitemaps.c21f969b5f03d33.SitemapIndex_0.xml.gz
   ! S& }* o* P3 |* C' A! I: g
10. Sitemap: http://www.amazon.com/sitemaps.1470994145d5519.SitemapIndex_0.xml.gz

复制代码

2.找到相对应的产品的sitemap的索引压缩文件。
* |+ }9 F2 X; N' B0 l$ W3.下载索引压缩文件后解压。
/ O; b. X, U# I/ H0 Y5 \) A4.将解压后的索引文件只的sitemap的url取出来，放到迅雷里面将上百个对应的产品sitemap的压缩文件下载下来。
/ Y* k/ {3 _* }/ |5.下载后解压这些sitemap压缩文件。
, c( [0 M6 P7 d4 _- Q9 b6.写程序读取解压后的xml文件，取出里面的<loc>http://www.amazon.com/你要的产品名称等 </loc>值存到数据库里就可以了。
* Y; e& k) ^1 J3 n4 `( Y$ {7.没有什么了吧，剩下就由你自己发挥弄吧。

5 r4 U! ]5 }9 q7 `& |6 \" c感觉利用sitemap的方法能快一些，我没有用过api，听说api有调用限制的。

各位喜欢的赶快顶我一下吧。

' v' U- r1 @, X* I$ }

lcxpmp

回复楼上，他一定不懂。

feego

火车头采集

seanhere

同上，火车头采集比较易上手

李小冲

火车头采集两亿六千多万的数据得需要多久呢，而且从哪里开始作为采集的入口呢

zhuzhaodan

李小冲 发表于 2015-7-31 17:09
你要的只是产品名称和产品URL吧。
1 q2 H3 a2 _" s! o很简单:
0 d3 R/ w$ @1 m. B! g4 T* Q1.打开amazon.com的robots.txt文件，找到sitemap:

: a6 H( E$ p& B+ G6 l  o早点看到你的回复就好了，我之前都是用DOMXPath分析网页URL规律，提取分页页数，提取大分类，。。。。分类N的url，然后循环请求几十万次最后得到商品列表。。。结果我昨天发现用sitemap太方便了，直接就采集了，url很全，不用自己去收集url，问题来了，是买n个vps服务器（n个ip同时采集），还是买高匿代理ip，这个我不太懂，我就用的家里ip采集，不敢快了

李小冲

zhuzhaodan 发表于 2015-8-2 20:48
早点看到你的回复就好了，我之前都是用DOMXPath分析网页URL规律，提取分页页数，提取大分类，。。。。分 ...

你是需要采集不仅仅是产品名称，还有产品图片等其它属性么
* x8 T" u# P( h/ a% F! L/ _产品图片不建议采，太占用空间了，可以直接调用amazon的产品地址，你可以进入aff后台，找到产品推广的地方，看看产品对应的图片就明白啦，我就使用的是amazon的图片地址。
( z( e) o1 m) F5 w$ C! Y