ebay采集求给点建议

bluescharp

8 v2 W" u: M: M2 H+ t; I5 P; [采集点ebay的产品，本打算通过ebay的站内搜索来采。结果ebay限制了1W搜索结果不说，还有一大半是重复的(特别是那个"Popular refinements for XXX")，算下来只采集到500个商品...为什么尼玛搜索结果会有这么多重复的....
, |: M% P* g6 g# c! d# P6 W
---算我瞎了眼...参数弄错了一个...
' @! B2 L, G4 j

阿百川

用api试试，可参考wprobot的ebay模块

李小冲

我也只能帮你到这里了，ebay、amazon等一些站，采集先看robots.txt,从robots.txt中找到sitemap的索引，剩下的就想办法搞吧

http://www.ebay.com/robots.txt

# sitemaps - SRPs
) e* M- W0 P: ?2 b* {Sitemap: http://www.ebay.com/lst/SRP_US_index.xml
7 d- |  ^0 f0 FSitemap: http://www.ebay.com/lst/ng/SRP_US_index.xml
4 C, Q: d$ l- ^/ {8 Q
# Guides sitemaps
Sitemap: http://www.ebay.com/lst/GUIDES-0-index.xml

) J1 h' }' W+ [/ U# SSRP sitemaps
( [$ n2 P2 `& l: {( }8 z  I: NSitemap: http://www.ebay.com/lst/SSRP-0-index.xml

#Stores Sitemaps
Sitemap: http://www.ebay.com/lst/STORES-0-index.xml

- T/ u4 E5 S6 L#BHP Sitemaps
. R. Q$ N2 ?+ b6 R" t+ qSitemap: http://www.ebay.com/lst/BHP-0-index.xml

#Collections
Sitemap: http://www.ebay.com/lst/COLLECTIONS-0-index.xml
0 O1 P6 H' X. W  \2 U
- Y0 X9 O2 `; l" T#VI
( E9 l  d5 ?) }/ {: u: x' xSitemap: http://www.ebay.com/lst/VI-0-index.xml
/ O2 N& X( X$ d
% x% K7 y- G9 @6 n4 }, Q' g; K1 ?#PRP
9 F& H2 Q( [# ?6 {5 aSitemap: http://www.ebay.com/lst/PRP-0-index.xml

2 e" }- ^4 L- ]# o' R
' D. t! D1 r/ }8 M0 F" U, F! p

破军

采集ebay的产品做什么？
/ x9 e4 H" `' w/ q* l5 o

bluescharp

李小冲 发表于 2015-6-17 11:29
5 x/ q. q0 |7 L0 v/ j7 A我也只能帮你到这里了，ebay、amazon等一些站，采集先看robots.txt,从robots.txt中找到sitemap的索引，剩下 ...

我是想采特定类产品的，所以才想通过搜索结果去采，怎想到这里那么多重复商品......