ebay采集求给点建议

bluescharp

3 B: c5 K( b: q7 y+ w
采集点ebay的产品，本打算通过ebay的站内搜索来采。结果ebay限制了1W搜索结果不说，还有一大半是重复的(特别是那个"Popular refinements for XXX")，算下来只采集到500个商品...为什么尼玛搜索结果会有这么多重复的....
$ X) g! @" i/ c6 t- z; z8 [
---算我瞎了眼...参数弄错了一个...
; Y* A) v+ l6 n$ t
+ P1 g* @$ }" a! E8 ~5 \, S

阿百川

用api试试，可参考wprobot的ebay模块

李小冲

我也只能帮你到这里了，ebay、amazon等一些站，采集先看robots.txt,从robots.txt中找到sitemap的索引，剩下的就想办法搞吧

http://www.ebay.com/robots.txt

# sitemaps - SRPs
& A# ?4 m6 T' s9 I7 p2 ]' @1 L/ hSitemap: http://www.ebay.com/lst/SRP_US_index.xml
/ H' |4 G- Z! q; a+ MSitemap: http://www.ebay.com/lst/ng/SRP_US_index.xml
0 |) @; x0 X  N7 ]
# Guides sitemaps
Sitemap: http://www.ebay.com/lst/GUIDES-0-index.xml

3 h; J' K9 K% e4 Y/ C9 {# SSRP sitemaps
: H+ Z: o* B2 @. I$ {+ z  w# zSitemap: http://www.ebay.com/lst/SSRP-0-index.xml

+ Z$ Y% J# z9 i8 m) i) ~9 K' V#Stores Sitemaps
Sitemap: http://www.ebay.com/lst/STORES-0-index.xml

+ H( M0 f3 @2 l#BHP Sitemaps
Sitemap: http://www.ebay.com/lst/BHP-0-index.xml
) R- S/ I/ B# g8 a! A- [/ }* H
5 @9 h, v5 p4 j! U0 V% K4 X' y#Collections
Sitemap: http://www.ebay.com/lst/COLLECTIONS-0-index.xml
, q4 }: ^0 d* ?+ Q5 W! ?& K
3 U& _% L& k. [, H/ p. r#VI
( W" E4 k" n  ?( C" W8 xSitemap: http://www.ebay.com/lst/VI-0-index.xml
0 x4 u+ q% A0 y* e8 H0 Z5 P7 m
  T, K: n. R. M# N( h#PRP
Sitemap: http://www.ebay.com/lst/PRP-0-index.xml

破军

采集ebay的产品做什么？

bluescharp

李小冲 发表于 2015-6-17 11:29
我也只能帮你到这里了，ebay、amazon等一些站，采集先看robots.txt,从robots.txt中找到sitemap的索引，剩下 ...

我是想采特定类产品的，所以才想通过搜索结果去采，怎想到这里那么多重复商品......