|
|
发表于 2015-7-31 17:09:37
|
显示全部楼层
你要的只是产品名称和产品URL吧。4 f, L/ ]; |0 g9 O+ E2 x7 x1 Z
很简单:
9 ~ U' d$ l& Y- k" y1.打开amazon.com的robots.txt文件,找到sitemap:: R- A' f7 X- b- S" Z( P1 \+ p
http://www.amazon.com/robots.txt
2 D k, q3 r1 y- # Sitemap files0 a q; d( \/ v0 ?. O. v
- Sitemap: http://www.amazon.com/sitemap-manual-index.xml5 r0 h* ?) M" d# \
- Sitemap: http://www.amazon.com/sitemap_vendor_videos_us.xml
( K: ~8 d0 d5 k9 d; v! c - Sitemap: http://www.amazon.com/sitemaps.4acb100d6c5a79c.SitemapIndex_0.xml.gz; h$ P3 v4 u" p+ m
- Sitemap: http://www.amazon.com/sitemaps.f3053414d236e84.SitemapIndex_0.xml.gz$ O- X6 Z# t' W, W( j
- Sitemap: http://www.amazon.com/sitemaps.1946f6b8171de60.SitemapIndex_0.xml.gz7 T9 f* a+ s$ f& Y
- Sitemap: http://www.amazon.com/sitemaps.bbb7d657c7e29fa.SitemapIndex_0.xml.gz
8 P+ a# o3 `4 S5 {1 L' D - Sitemap: http://www.amazon.com/sitemaps.11aafed315ee654.SitemapIndex_0.xml.gz. ]: |) G+ a5 y( @
- Sitemap: http://www.amazon.com/sitemaps.c21f969b5f03d33.SitemapIndex_0.xml.gz0 l X; v( O' ]; g+ p8 }2 T1 E% X. F" _
- Sitemap: http://www.amazon.com/sitemaps.1470994145d5519.SitemapIndex_0.xml.gz
复制代码 2.找到相对应的产品的sitemap的索引压缩文件。. n$ r* ~: B) ?5 n
3.下载索引压缩文件后解压。0 `6 } Q% ?7 o: A) ?. j; o
4.将解压后的索引文件只的sitemap的url取出来,放到迅雷里面将上百个对应的产品sitemap的压缩文件下载下来。( ?6 d1 l6 g( L5 O7 i. C3 H$ z+ N* \
5.下载后解压这些sitemap压缩文件。6 x* o2 G( i/ U3 ?
6.写程序读取解压后的xml文件,取出里面的<loc>http://www.amazon.com/你要的产品名称等 </loc>值存到数据库里就可以了。
% g! d+ H+ p- d# a( \7.没有什么了吧,剩下就由你自己发挥弄吧。. V3 q2 ^" j( D
5 |1 ~" T' ~+ ], F, R$ u感觉利用sitemap的方法能快一些,我没有用过api,听说api有调用限制的。
; V# B. q( @! H: o1 B* W7 X4 }: z% x+ M
各位喜欢的赶快顶我一下吧。4 W8 G0 B, b! U6 ]0 X
) G1 I! ? p* D p( j# b( V4 K
|
评分
-
查看全部评分
|