ebay采集求给点建议

bluescharp

- N+ }( m  I/ Q5 r. m3 R0 y& }1 D
采集点ebay的产品，本打算通过ebay的站内搜索来采。结果ebay限制了1W搜索结果不说，还有一大半是重复的(特别是那个"Popular refinements for XXX")，算下来只采集到500个商品...为什么尼玛搜索结果会有这么多重复的....

---算我瞎了眼...参数弄错了一个...
' @4 K- k& L5 Z) |
$ e* s& l- W* r9 a8 m

阿百川

用api试试，可参考wprobot的ebay模块

李小冲

我也只能帮你到这里了，ebay、amazon等一些站，采集先看robots.txt,从robots.txt中找到sitemap的索引，剩下的就想办法搞吧
" [% Z. d, C- }( t

http://www.ebay.com/robots.txt

# sitemaps - SRPs
Sitemap: http://www.ebay.com/lst/SRP_US_index.xml
Sitemap: http://www.ebay.com/lst/ng/SRP_US_index.xml
, `/ R7 w( h$ ^1 k' W8 `
5 S- P7 N9 b; ]9 y: @# Guides sitemaps
5 C7 H: L, P4 @Sitemap: http://www.ebay.com/lst/GUIDES-0-index.xml

0 w) D% i9 f2 o7 W7 F1 {& a  t# SSRP sitemaps
1 [) P6 J" R/ H( c7 }% I$ SSitemap: http://www.ebay.com/lst/SSRP-0-index.xml

5 w6 V: V, W% V% k$ W$ c#Stores Sitemaps
Sitemap: http://www.ebay.com/lst/STORES-0-index.xml

#BHP Sitemaps
9 X& E- q$ w6 T) cSitemap: http://www.ebay.com/lst/BHP-0-index.xml

+ x- s$ D2 n5 Z#Collections
Sitemap: http://www.ebay.com/lst/COLLECTIONS-0-index.xml

#VI
+ x. r7 E1 H3 b4 G( fSitemap: http://www.ebay.com/lst/VI-0-index.xml
0 S3 Q" W" Y1 g4 u! x
#PRP
Sitemap: http://www.ebay.com/lst/PRP-0-index.xml

! R$ X- O. m& e& u5 Z% A

破军

采集ebay的产品做什么？

bluescharp

李小冲 发表于 2015-6-17 11:29
我也只能帮你到这里了，ebay、amazon等一些站，采集先看robots.txt,从robots.txt中找到sitemap的索引，剩下 ...

4 c9 i1 ?! ^1 n: g2 T$ Q我是想采特定类产品的，所以才想通过搜索结果去采，怎想到这里那么多重复商品......