ebay采集求给点建议

bluescharp

' E& D% W6 V# a/ ?# K* b- K  U$ ~
采集点ebay的产品，本打算通过ebay的站内搜索来采。结果ebay限制了1W搜索结果不说，还有一大半是重复的(特别是那个"Popular refinements for XXX")，算下来只采集到500个商品...为什么尼玛搜索结果会有这么多重复的....

$ \1 d" }5 d" {5 v$ q9 C$ v+ n+ x---算我瞎了眼...参数弄错了一个...
' o6 ]3 R1 V. K' |& _

阿百川

用api试试，可参考wprobot的ebay模块

李小冲

我也只能帮你到这里了，ebay、amazon等一些站，采集先看robots.txt,从robots.txt中找到sitemap的索引，剩下的就想办法搞吧
+ |# m( x4 Y9 E, d% l+ F4 Q

http://www.ebay.com/robots.txt

# sitemaps - SRPs
9 U' E6 I6 g# Z$ x: u# m& sSitemap: http://www.ebay.com/lst/SRP_US_index.xml
) ?) w% Z, m0 K" c/ ISitemap: http://www.ebay.com/lst/ng/SRP_US_index.xml
- K& `5 W# w. `/ G
- S0 m* p( t* a% p' c8 k; I# Guides sitemaps
$ W- u$ |. ~/ B* aSitemap: http://www.ebay.com/lst/GUIDES-0-index.xml

8 t- l3 Q. e( U  _# SSRP sitemaps
Sitemap: http://www.ebay.com/lst/SSRP-0-index.xml

#Stores Sitemaps
# J: [- x6 Y' J- QSitemap: http://www.ebay.com/lst/STORES-0-index.xml
  ?2 X. e& t: G3 c" t5 X7 q6 Y
#BHP Sitemaps
Sitemap: http://www.ebay.com/lst/BHP-0-index.xml
: G; B' w) t* h* ?
#Collections
Sitemap: http://www.ebay.com/lst/COLLECTIONS-0-index.xml
0 }* _! n0 c; K  k
#VI
1 w" }0 f+ Z4 W9 L" qSitemap: http://www.ebay.com/lst/VI-0-index.xml

#PRP
Sitemap: http://www.ebay.com/lst/PRP-0-index.xml

0 H3 y* v3 J2 C& A4 b$ k! c

破军

采集ebay的产品做什么？
) d5 e+ K& n+ Y- b- c" J8 }) b& A

bluescharp

李小冲 发表于 2015-6-17 11:29
& g- k' y% o! I我也只能帮你到这里了，ebay、amazon等一些站，采集先看robots.txt,从robots.txt中找到sitemap的索引，剩下 ...

我是想采特定类产品的，所以才想通过搜索结果去采，怎想到这里那么多重复商品......