采集amazon经常返回不同的模板，求解决

阿百川 · 发表于 2013-5-14 17:55:44

使用amazon的api采集一些数据不全，现在想通过直接采集页面获得

但测试过程中经常碰到同样的request却返回不同的数据，求教原因

河小马 · 发表于 2013-5-15 01:10:30

lz 给个request 看下

阿百川 · 发表于 2013-5-15 06:27:03

河小马发表于 2013-5-15 01:10
9 }, x' {# u$ m+ @" n1 q0 {( {3 dlz 给个request 看下

GET http://www.amazon.com/gp/dp/B00BZ9NOUS HTTP/1.1
& k6 [! i$ _2 }5 x+ k
Accept-Encoding: identity
7 u# o6 k- n" f3 J4 `. J1 |
Accept-Language: en-us,en;q=0.5
5 }3 n$ @& h g/ H) h6 p
Dnt: 1/ v. C3 O$ p0 D5 _: I
Connection: close# k+ [/ \7 M8 G2 A3 [: {; ?4 _4 B
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.85 f# t4 d, O4 D# a
User-Agent: Mozilla/5.0 (Windows NT 6.1; rv:15.0) Gecko/20100101 Firefox/15.0
6 q5 y7 q. u0 b3 ?
Host: www.amazon.com
& r* ?: H9 `' e' C7 d
Cache-Control: max-age=0

复制代码

直接是浏览器没碰到锅，但提交request就来回换

goog1e · 发表于 2013-5-15 19:38:01

可能是useragent的问题.

阿百川 · 发表于 2013-5-15 19:51:43

goog1e 发表于 2013-5-15 19:38
* o+ P' @% c& N8 `; J7 A: N可能是useragent的问题.

request已经包含ua了

joul · 发表于 2013-5-15 23:26:16

你要采集哪些信息呢？是自己写的程序还是用其他软件？
如果只是产品描述、图片、review之类的，我觉得还行吧，C#的HtmlAgilityPack应该可以搞定。

阿百川 · 发表于 2013-5-16 06:56:50

joul 发表于 2013-5-15 23:26
/ ^3 t) S7 K6 A$ L' k$ p+ D$ \7 T你要采集哪些信息呢？是自己写的程序还是用其他软件？
- i" r$ i% p0 w5 x如果只是产品描述、图片、review之类的，我觉得还行 ...

各种数据很容易采，关键是经常变换模板，偶尔一些模板还需要翻页才能采集

joul · 发表于 2013-5-16 07:36:48

可能我还没到你这种采集级别吧，呵呵。要么就是采集太少了。

我一般是对那些模板变更了的产品直接跳过，比如id读不到之类的，呵呵

阿百川 · 发表于 2013-5-16 08:26:02

joul 发表于 2013-5-16 07:36
# s* D+ V- s% Q6 ^* G4 A7 z9 y可能我还没到你这种采集级别吧，呵呵。要么就是采集太少了。' D1 k9 j; |" d7 Z! G
4 C' n- k- b2 o
我一般是对那些模板变更了的产品直接跳过，比 ...

直接加了while，多读取几遍，符合采集规则的再继续，就是有些影响效率

goog1e · 发表于 2013-5-16 09:09:32

同一个产品也返回不同的模板,应该不会吧

不同类别的商品模板相差很大的
比如图书和衣服类的商品

感觉amazon在不断的调整前端设计

阿百川 · 发表于 2013-5-16 09:57:45

goog1e 发表于 2013-5-16 09:09 ; ~6 r& V" K" P* E1 i
同一个产品也返回不同的模板,应该不会吧
v' u+ B S4 T2 t- s# N# z6 {7 _0 N5 T- d* y- V" K9 R5 i$ Y2 u
不同类别的商品模板相差很大的

最简单的价格，html代码一般是<td id=price>价格</td>，偶尔的<td id=price><strong>价格</stron></td>，还有其他复杂的没记住

Atrus · 发表于 2013-5-16 12:07:02

自己开发的API采集还是用的什么工具？

joul · 发表于 2013-5-16 12:15:08

阿百川发表于 2013-5-16 09:57 ; m- V7 i9 T$ o# e, }
最简单的价格，html代码一般是价格，偶尔的价格，还有其他复杂的没记住

如果只有这类问题，可以考虑用InnerText来采，不用InnerHtml。我建议把数据本地化，再读出来，事先定义好模板再组合成页面。对于产品而言，变动频繁的估计就是价格了，可以考虑每周/每月更新一次数据。

joul · 发表于 2013-5-16 12:19:02

阿百川发表于 2013-5-16 08:26 # R: _& |+ I0 H- b9 c5 j, m
直接加了while，多读取几遍，符合采集规则的再继续，就是有些影响效率

while多了确实影响效率，可以考虑后面搞多个采集规则模板，一旦变了，就加上这个规则，程序上做轮询。

阿百川 · 发表于 2013-5-16 15:38:38

joul 发表于 2013-5-16 12:19 , R; [2 f9 o6 a$ ^ `# w/ I' L
while多了确实影响效率，可以考虑后面搞多个采集规则模板，一旦变了，就加上这个规则，程序上做轮询。 ...

有几个规则不好处理，如果加上了效率反而比while还低

		自动登录	找回密码
密码			立即注册