|
|
发表于 2015-7-31 17:09:37
|
显示全部楼层
你要的只是产品名称和产品URL吧。
9 s: z4 j& U$ X! H很简单:
% l9 L4 h6 j& \9 H+ a7 w i% ]. p1.打开amazon.com的robots.txt文件,找到sitemap:7 K H, H3 L; s
http://www.amazon.com/robots.txt
- ?: I/ f8 T. P9 L7 w- r% M- # Sitemap files
r/ T+ q& U$ Z+ f& @' { - Sitemap: http://www.amazon.com/sitemap-manual-index.xml# q E' I; h1 Y4 f1 Z3 S
- Sitemap: http://www.amazon.com/sitemap_vendor_videos_us.xml
5 |& u6 r$ M/ X+ c - Sitemap: http://www.amazon.com/sitemaps.4acb100d6c5a79c.SitemapIndex_0.xml.gz
1 N- H0 F; i" m9 Y: L - Sitemap: http://www.amazon.com/sitemaps.f3053414d236e84.SitemapIndex_0.xml.gz
$ A9 _/ ?! K: X: d6 ` - Sitemap: http://www.amazon.com/sitemaps.1946f6b8171de60.SitemapIndex_0.xml.gz
0 b, ^/ M7 h' E - Sitemap: http://www.amazon.com/sitemaps.bbb7d657c7e29fa.SitemapIndex_0.xml.gz
# Q1 B! A: X0 ~8 {* N - Sitemap: http://www.amazon.com/sitemaps.11aafed315ee654.SitemapIndex_0.xml.gz
) v2 y0 Y: e8 r: y; v0 d - Sitemap: http://www.amazon.com/sitemaps.c21f969b5f03d33.SitemapIndex_0.xml.gz& Z: M- d8 B% v( g, G9 K; u
- Sitemap: http://www.amazon.com/sitemaps.1470994145d5519.SitemapIndex_0.xml.gz
复制代码 2.找到相对应的产品的sitemap的索引压缩文件。
7 i8 B Q' y; m$ `; Y3.下载索引压缩文件后解压。# x* m$ j |' {& R- u7 ]- |
4.将解压后的索引文件只的sitemap的url取出来,放到迅雷里面将上百个对应的产品sitemap的压缩文件下载下来。9 Q0 p7 \ T: q
5.下载后解压这些sitemap压缩文件。
( h- m7 W2 V' E6 u: W, W4 a* |6.写程序读取解压后的xml文件,取出里面的<loc>http://www.amazon.com/你要的产品名称等 </loc>值存到数据库里就可以了。$ M9 D% f z- c, ?8 ^, ~/ |
7.没有什么了吧,剩下就由你自己发挥弄吧。
" N0 U# H. ~; q! C' B5 o" Y8 z
1 l v* ]( G$ M/ K( T# d感觉利用sitemap的方法能快一些,我没有用过api,听说api有调用限制的。6 g! |3 G+ j* j& k2 J5 e
1 @5 ]( @; [- G9 _/ k$ F
各位喜欢的赶快顶我一下吧。
7 ^: Q& n+ c) @. M9 S( j
) n* N/ ^; H0 p) z2 D- W |
评分
-
查看全部评分
|