ebay采集求给点建议

bluescharp

: o+ k) H) N% n2 j( W/ n& O" N
9 c' o5 ?. w) c6 _采集点ebay的产品，本打算通过ebay的站内搜索来采。结果ebay限制了1W搜索结果不说，还有一大半是重复的(特别是那个"Popular refinements for XXX")，算下来只采集到500个商品...为什么尼玛搜索结果会有这么多重复的....
5 o$ L: e) W( ]* u2 T# Z2 d" H; v
  G% x( ~9 D$ v0 \/ _0 W3 b$ R---算我瞎了眼...参数弄错了一个...
) y- G/ ?/ \! S9 B! ]4 ~

阿百川

用api试试，可参考wprobot的ebay模块

李小冲

我也只能帮你到这里了，ebay、amazon等一些站，采集先看robots.txt,从robots.txt中找到sitemap的索引，剩下的就想办法搞吧

http://www.ebay.com/robots.txt

# sitemaps - SRPs
Sitemap: http://www.ebay.com/lst/SRP_US_index.xml
4 d. K9 \; T4 E. k1 J7 N  m0 vSitemap: http://www.ebay.com/lst/ng/SRP_US_index.xml

; x* h6 \- c+ `* t* r  f# Guides sitemaps
Sitemap: http://www.ebay.com/lst/GUIDES-0-index.xml

0 P3 o* L- V: D  d0 ^# SSRP sitemaps
3 Q+ z. M& D3 c9 E* HSitemap: http://www.ebay.com/lst/SSRP-0-index.xml

#Stores Sitemaps
, y8 _6 ]: e6 x& E- X1 b" u# u# VSitemap: http://www.ebay.com/lst/STORES-0-index.xml

6 Y: E& G7 c5 g! n* e0 H. V& Y#BHP Sitemaps
Sitemap: http://www.ebay.com/lst/BHP-0-index.xml

8 J! j( d) i2 Z) U( v6 h' {) J#Collections
! C$ r6 a8 ~8 c! `: ?5 dSitemap: http://www.ebay.com/lst/COLLECTIONS-0-index.xml

#VI
Sitemap: http://www.ebay.com/lst/VI-0-index.xml
$ c) Q0 {. j# F* @/ f5 x/ O
#PRP
$ }. S+ e/ h2 A, G8 T; l2 i- xSitemap: http://www.ebay.com/lst/PRP-0-index.xml

$ ?# S+ @) J! Y$ ?0 Q6 Q. l

破军

采集ebay的产品做什么？
, a3 J  ~3 c& X3 y( ?# `& H9 f8 u

bluescharp

李小冲 发表于 2015-6-17 11:29
我也只能帮你到这里了，ebay、amazon等一些站，采集先看robots.txt,从robots.txt中找到sitemap的索引，剩下 ...

我是想采特定类产品的，所以才想通过搜索结果去采，怎想到这里那么多重复商品......