ebay采集求给点建议

bluescharp

# z5 T$ L, P) G( L, {* m+ A
采集点ebay的产品，本打算通过ebay的站内搜索来采。结果ebay限制了1W搜索结果不说，还有一大半是重复的(特别是那个"Popular refinements for XXX")，算下来只采集到500个商品...为什么尼玛搜索结果会有这么多重复的....

: {, D$ @9 W, R, ]" n" n' _---算我瞎了眼...参数弄错了一个...
! h% @  x/ g) p( l
$ e3 C- O# ?9 S/ o& z& J2 Q1 c

阿百川

用api试试，可参考wprobot的ebay模块

李小冲

我也只能帮你到这里了，ebay、amazon等一些站，采集先看robots.txt,从robots.txt中找到sitemap的索引，剩下的就想办法搞吧

http://www.ebay.com/robots.txt

# sitemaps - SRPs
Sitemap: http://www.ebay.com/lst/SRP_US_index.xml
3 N( L- }) g0 a9 z3 b/ d" ^Sitemap: http://www.ebay.com/lst/ng/SRP_US_index.xml
# i0 E. T" a2 ]4 v" u5 Z
  m- X8 u; _: R  _) j# Guides sitemaps
1 Y; j7 _$ e5 y9 K0 r* \3 v8 SSitemap: http://www.ebay.com/lst/GUIDES-0-index.xml

# SSRP sitemaps
  i; ^1 ^$ B+ Y* n6 WSitemap: http://www.ebay.com/lst/SSRP-0-index.xml
, x, y& V* r: q- z
#Stores Sitemaps
( H( B4 _6 g* m4 ?( mSitemap: http://www.ebay.com/lst/STORES-0-index.xml
: x: j- g* O( X# j0 O* t6 `1 Z
#BHP Sitemaps
7 x5 H  t. |, m6 z* T9 ]1 nSitemap: http://www.ebay.com/lst/BHP-0-index.xml
8 ?& R( ^5 ?7 i" y
+ z2 g3 ]3 `& ~  n; X#Collections
. v6 @* }8 s8 u5 G' m) z% _# ASitemap: http://www.ebay.com/lst/COLLECTIONS-0-index.xml
1 S4 }% S# I2 s- a0 N
/ E  L5 w: {1 n+ N#VI
Sitemap: http://www.ebay.com/lst/VI-0-index.xml

0 [% Q: D) C! e% a6 Z; r7 r#PRP
Sitemap: http://www.ebay.com/lst/PRP-0-index.xml

+ K2 K: `3 m  r, T

破军

采集ebay的产品做什么？

bluescharp

李小冲 发表于 2015-6-17 11:29
我也只能帮你到这里了，ebay、amazon等一些站，采集先看robots.txt,从robots.txt中找到sitemap的索引，剩下 ...

我是想采特定类产品的，所以才想通过搜索结果去采，怎想到这里那么多重复商品......