ebay采集求给点建议

bluescharp

: ~  _: ^1 i+ k2 Z
采集点ebay的产品，本打算通过ebay的站内搜索来采。结果ebay限制了1W搜索结果不说，还有一大半是重复的(特别是那个"Popular refinements for XXX")，算下来只采集到500个商品...为什么尼玛搜索结果会有这么多重复的....

---算我瞎了眼...参数弄错了一个...

$ |1 `2 u4 R& W1 z* C3 u

阿百川

用api试试，可参考wprobot的ebay模块

李小冲

我也只能帮你到这里了，ebay、amazon等一些站，采集先看robots.txt,从robots.txt中找到sitemap的索引，剩下的就想办法搞吧
; p' c8 @8 a7 H% R* F. |5 ?

http://www.ebay.com/robots.txt

# sitemaps - SRPs
: o& [' z3 _6 V* }* M- Y% ]Sitemap: http://www.ebay.com/lst/SRP_US_index.xml
Sitemap: http://www.ebay.com/lst/ng/SRP_US_index.xml
, Z0 v4 v- c  M3 f
9 {1 j( m/ [/ |' S# Guides sitemaps
9 O6 Y, a- v* B; I; y( FSitemap: http://www.ebay.com/lst/GUIDES-0-index.xml

. P& V4 S; J8 H# H, o5 i& E0 r% X# SSRP sitemaps
Sitemap: http://www.ebay.com/lst/SSRP-0-index.xml

8 N* ~5 _0 d3 X; S! L) B3 C6 x' f7 G#Stores Sitemaps
+ ]( u# F. x6 p) mSitemap: http://www.ebay.com/lst/STORES-0-index.xml

#BHP Sitemaps
$ Y5 C& d2 J9 `  h/ V  I' MSitemap: http://www.ebay.com/lst/BHP-0-index.xml

#Collections
+ @; b' u  p: aSitemap: http://www.ebay.com/lst/COLLECTIONS-0-index.xml

  j8 P* d# p' a/ x5 }7 N  e1 o" `#VI
1 Y1 n7 t1 C! b  c  t" |) G: ?+ u) B# L  LSitemap: http://www.ebay.com/lst/VI-0-index.xml

5 k! n4 q( a( U* U$ N#PRP
7 D/ E0 ^9 C  ~. O/ g) V7 H9 gSitemap: http://www.ebay.com/lst/PRP-0-index.xml

1 S: l! [$ `  f5 r' N  y

破军

采集ebay的产品做什么？

bluescharp

李小冲 发表于 2015-6-17 11:29
我也只能帮你到这里了，ebay、amazon等一些站，采集先看robots.txt,从robots.txt中找到sitemap的索引，剩下 ...

+ g2 o9 A' j+ W" H* D8 p: a# v' l3 S+ ]我是想采特定类产品的，所以才想通过搜索结果去采，怎想到这里那么多重复商品......