ebay采集求给点建议

bluescharp

采集点ebay的产品，本打算通过ebay的站内搜索来采。结果ebay限制了1W搜索结果不说，还有一大半是重复的(特别是那个"Popular refinements for XXX")，算下来只采集到500个商品...为什么尼玛搜索结果会有这么多重复的....

0 H; H. Q! x4 X2 \6 \& g7 |! f---算我瞎了眼...参数弄错了一个...
* k7 n7 z% w  c& w" b
& A% S; E- U1 [! G! T0 `8 C

阿百川

用api试试，可参考wprobot的ebay模块

李小冲

我也只能帮你到这里了，ebay、amazon等一些站，采集先看robots.txt,从robots.txt中找到sitemap的索引，剩下的就想办法搞吧
$ r3 s* S- p9 }0 C

http://www.ebay.com/robots.txt

# sitemaps - SRPs
' S8 ^* N9 f; zSitemap: http://www.ebay.com/lst/SRP_US_index.xml
% k9 z" q1 e+ d+ P9 R) `Sitemap: http://www.ebay.com/lst/ng/SRP_US_index.xml
4 |4 j7 g% [: N  \' Y0 ]4 s
: p  g" E* J: z3 v# Guides sitemaps
7 {, s; s% _4 h( q7 n, x) X3 d, YSitemap: http://www.ebay.com/lst/GUIDES-0-index.xml

, O+ U# z7 S0 M/ T8 D# SSRP sitemaps
) j% @: X6 t; h% k) R; M  C$ rSitemap: http://www.ebay.com/lst/SSRP-0-index.xml

#Stores Sitemaps
Sitemap: http://www.ebay.com/lst/STORES-0-index.xml

#BHP Sitemaps
( X: L4 i4 v. x3 U1 K( p) DSitemap: http://www.ebay.com/lst/BHP-0-index.xml

" r9 J; ], c$ h6 B$ X& N& {#Collections
Sitemap: http://www.ebay.com/lst/COLLECTIONS-0-index.xml
! \- P' b4 [6 l' m8 O2 W
5 }* ?4 y( }. ^3 `8 q#VI
8 k; n+ E( h2 s6 ]  X' ^  x4 ?; [" wSitemap: http://www.ebay.com/lst/VI-0-index.xml

#PRP
Sitemap: http://www.ebay.com/lst/PRP-0-index.xml

* \, f1 S& N5 H6 r+ B  Z2 W

破军

采集ebay的产品做什么？

bluescharp

李小冲 发表于 2015-6-17 11:29
我也只能帮你到这里了，ebay、amazon等一些站，采集先看robots.txt,从robots.txt中找到sitemap的索引，剩下 ...

9 q' B0 i. ?) n, M' g' {  l* a我是想采特定类产品的，所以才想通过搜索结果去采，怎想到这里那么多重复商品......