ebay采集求给点建议

bluescharp

, S' c& i$ m$ q; }
' ?+ b# \6 G; S7 f采集点ebay的产品，本打算通过ebay的站内搜索来采。结果ebay限制了1W搜索结果不说，还有一大半是重复的(特别是那个"Popular refinements for XXX")，算下来只采集到500个商品...为什么尼玛搜索结果会有这么多重复的....
2 `5 O* n; q7 w& N
3 z+ O2 l7 B/ q/ ], j+ g---算我瞎了眼...参数弄错了一个...

. i5 @" I! m/ G9 a* X

阿百川

用api试试，可参考wprobot的ebay模块

李小冲

我也只能帮你到这里了，ebay、amazon等一些站，采集先看robots.txt,从robots.txt中找到sitemap的索引，剩下的就想办法搞吧

http://www.ebay.com/robots.txt

# sitemaps - SRPs
/ u0 A. a; Y- f! r$ p5 `Sitemap: http://www.ebay.com/lst/SRP_US_index.xml
Sitemap: http://www.ebay.com/lst/ng/SRP_US_index.xml
) ]8 J0 \) q  j0 r" k
6 O1 y" `$ t  ]# Guides sitemaps
/ b: ^* n0 J2 c5 x) a. s2 t3 Z0 kSitemap: http://www.ebay.com/lst/GUIDES-0-index.xml

# ]3 C; D- x% y! |* K: U: |# SSRP sitemaps
- M; r$ ]9 ~7 {+ {! D1 D( g1 BSitemap: http://www.ebay.com/lst/SSRP-0-index.xml
3 G9 C, n0 O4 C$ F6 n! j" Q: F7 x; T
#Stores Sitemaps
6 Q4 Y: o( n9 ]: L# O& x1 W7 jSitemap: http://www.ebay.com/lst/STORES-0-index.xml
7 p* Q' w( k. C" e3 @. W
0 m9 j7 E. A7 q+ y#BHP Sitemaps
Sitemap: http://www.ebay.com/lst/BHP-0-index.xml

#Collections
Sitemap: http://www.ebay.com/lst/COLLECTIONS-0-index.xml

#VI
Sitemap: http://www.ebay.com/lst/VI-0-index.xml

+ U; o: [0 J* g9 g, W# ]# g#PRP
Sitemap: http://www.ebay.com/lst/PRP-0-index.xml

9 m6 U  |% R9 x* a  J0 S* X

破军

采集ebay的产品做什么？

bluescharp

李小冲 发表于 2015-6-17 11:29
我也只能帮你到这里了，ebay、amazon等一些站，采集先看robots.txt,从robots.txt中找到sitemap的索引，剩下 ...

& D8 b: b" m. q% B7 n# j: ^6 |7 }我是想采特定类产品的，所以才想通过搜索结果去采，怎想到这里那么多重复商品......