ebay采集求给点建议

bluescharp

  c5 o  G( q2 v: ~& T  G; v0 t% f
采集点ebay的产品，本打算通过ebay的站内搜索来采。结果ebay限制了1W搜索结果不说，还有一大半是重复的(特别是那个"Popular refinements for XXX")，算下来只采集到500个商品...为什么尼玛搜索结果会有这么多重复的....
. ^/ M  Y  x- e+ g* m
1 U  S& v2 r' m. g+ v---算我瞎了眼...参数弄错了一个...
" L& Q( O/ a. y
  |  ?& t+ y$ x# b  R7 s2 D

阿百川

用api试试，可参考wprobot的ebay模块

李小冲

我也只能帮你到这里了，ebay、amazon等一些站，采集先看robots.txt,从robots.txt中找到sitemap的索引，剩下的就想办法搞吧
1 x2 {- Q% \: S! w! e

http://www.ebay.com/robots.txt

# sitemaps - SRPs
Sitemap: http://www.ebay.com/lst/SRP_US_index.xml
: f+ K, i0 X5 Y0 A1 @5 u1 PSitemap: http://www.ebay.com/lst/ng/SRP_US_index.xml

# Guides sitemaps
2 q* d" o, {  Q+ a, R1 j' uSitemap: http://www.ebay.com/lst/GUIDES-0-index.xml
8 W* F. N4 q! {/ a
4 N5 T( C; U' f" J8 T. h. g# SSRP sitemaps
Sitemap: http://www.ebay.com/lst/SSRP-0-index.xml
+ X; V* F2 Q/ \( h& @8 R* ]
) c2 m% V" C. V* |/ _3 @+ Z& i#Stores Sitemaps
+ ^: }1 l5 A7 cSitemap: http://www.ebay.com/lst/STORES-0-index.xml

4 S6 Y5 l1 a! k2 e. }  Q: z' n7 h#BHP Sitemaps
Sitemap: http://www.ebay.com/lst/BHP-0-index.xml
& `: B7 S# c0 \+ E
#Collections
, [+ u  q3 M, H: N! J# L- NSitemap: http://www.ebay.com/lst/COLLECTIONS-0-index.xml
0 ?$ r6 _6 [. n* a$ u
#VI
, Z' x0 |' v$ B$ P% s! }" bSitemap: http://www.ebay.com/lst/VI-0-index.xml
. U; k% I4 |+ ?2 A4 d# r0 g! V" z
#PRP
- f  K* q, p. Q/ E  L( W' H  F) f4 KSitemap: http://www.ebay.com/lst/PRP-0-index.xml

破军

采集ebay的产品做什么？
( \" K. y5 h* ~% Z3 [" U. O9 I. N5 @

bluescharp

李小冲 发表于 2015-6-17 11:29
我也只能帮你到这里了，ebay、amazon等一些站，采集先看robots.txt,从robots.txt中找到sitemap的索引，剩下 ...

我是想采特定类产品的，所以才想通过搜索结果去采，怎想到这里那么多重复商品......