ebay采集求给点建议

bluescharp

- b$ ^% ?' m1 M9 Z. P4 o' x采集点ebay的产品，本打算通过ebay的站内搜索来采。结果ebay限制了1W搜索结果不说，还有一大半是重复的(特别是那个"Popular refinements for XXX")，算下来只采集到500个商品...为什么尼玛搜索结果会有这么多重复的....

---算我瞎了眼...参数弄错了一个...

- ^* j7 F: j: G3 {

阿百川

用api试试，可参考wprobot的ebay模块

李小冲

我也只能帮你到这里了，ebay、amazon等一些站，采集先看robots.txt,从robots.txt中找到sitemap的索引，剩下的就想办法搞吧

http://www.ebay.com/robots.txt

# sitemaps - SRPs
3 l% ]- s5 Q4 h% ASitemap: http://www.ebay.com/lst/SRP_US_index.xml
Sitemap: http://www.ebay.com/lst/ng/SRP_US_index.xml
5 k* P7 H; {( [$ s  R7 ]
; e6 ^& ~' \* g& a: V# Guides sitemaps
Sitemap: http://www.ebay.com/lst/GUIDES-0-index.xml
7 N+ v  |4 r( v: A8 w- L8 ?
; Q2 J1 E. q( B  h! Y- O4 W# SSRP sitemaps
$ n6 j; r; h- t) U- mSitemap: http://www.ebay.com/lst/SSRP-0-index.xml
6 m. F  ^2 Z4 v0 {$ C
#Stores Sitemaps
Sitemap: http://www.ebay.com/lst/STORES-0-index.xml

6 |. i8 X, i7 y, T  R0 K#BHP Sitemaps
5 p/ Z9 \; t  `$ {$ h. ySitemap: http://www.ebay.com/lst/BHP-0-index.xml

& I  j/ s8 W/ b; f. C; z( @#Collections
Sitemap: http://www.ebay.com/lst/COLLECTIONS-0-index.xml

, ]7 A3 o2 J/ k8 h5 g5 A, {  B#VI
Sitemap: http://www.ebay.com/lst/VI-0-index.xml

& m, y$ g) J, ]3 r7 t  d9 _#PRP
Sitemap: http://www.ebay.com/lst/PRP-0-index.xml

8 v( G) J3 H; r/ q) {1 p

破军

采集ebay的产品做什么？
2 q+ V% x# H  Y% x8 v' y

bluescharp

李小冲 发表于 2015-6-17 11:29
: T  v, y+ d9 Z& r. ^我也只能帮你到这里了，ebay、amazon等一些站，采集先看robots.txt,从robots.txt中找到sitemap的索引，剩下 ...

我是想采特定类产品的，所以才想通过搜索结果去采，怎想到这里那么多重复商品......