ebay采集求给点建议

bluescharp

采集点ebay的产品，本打算通过ebay的站内搜索来采。结果ebay限制了1W搜索结果不说，还有一大半是重复的(特别是那个"Popular refinements for XXX")，算下来只采集到500个商品...为什么尼玛搜索结果会有这么多重复的....
& e! |0 o) |# K* n8 m! A
---算我瞎了眼...参数弄错了一个...
8 `; h! T' w) o. {& M* f

阿百川

用api试试，可参考wprobot的ebay模块

李小冲

我也只能帮你到这里了，ebay、amazon等一些站，采集先看robots.txt,从robots.txt中找到sitemap的索引，剩下的就想办法搞吧
- g2 f; x7 ^: k) u

http://www.ebay.com/robots.txt

# sitemaps - SRPs
9 K* A% ]# X( ^, N# rSitemap: http://www.ebay.com/lst/SRP_US_index.xml
* G: O0 x) F& u: S# h8 a9 PSitemap: http://www.ebay.com/lst/ng/SRP_US_index.xml

# Guides sitemaps
Sitemap: http://www.ebay.com/lst/GUIDES-0-index.xml
0 P7 R+ Z0 K0 I# S4 [+ X( O
# SSRP sitemaps
Sitemap: http://www.ebay.com/lst/SSRP-0-index.xml
" {4 N' ?" b  b& N  [
. |% e0 k, \( X  ]+ K% t1 d- r' M* Z#Stores Sitemaps
Sitemap: http://www.ebay.com/lst/STORES-0-index.xml
& R& [/ Z& u# s
#BHP Sitemaps
7 n+ H$ x2 [' {: zSitemap: http://www.ebay.com/lst/BHP-0-index.xml

+ N  g/ P+ n& n- z  _0 M2 m. R: {; s#Collections
Sitemap: http://www.ebay.com/lst/COLLECTIONS-0-index.xml
- c2 J, o& p2 Y  d) o. y
% @( F' U- M/ ^( [7 I% `#VI
" D: y4 k9 E& c8 @& `  ZSitemap: http://www.ebay.com/lst/VI-0-index.xml

4 B3 L0 N( ]. h#PRP
: V& y  K; s& `Sitemap: http://www.ebay.com/lst/PRP-0-index.xml

" ~/ ]2 _& P+ F2 s

破军

采集ebay的产品做什么？

bluescharp

李小冲 发表于 2015-6-17 11:29
8 `, Q  w% e! p/ n1 i6 |6 k我也只能帮你到这里了，ebay、amazon等一些站，采集先看robots.txt,从robots.txt中找到sitemap的索引，剩下 ...

我是想采特定类产品的，所以才想通过搜索结果去采，怎想到这里那么多重复商品......