采集amazon经常返回不同的模板，求解决

joul

阿百川 发表于 2013-5-16 15:38
8 Z# b0 U! C5 z0 G! A# Z; B' [: I7 t1 `有几个规则不好处理，如果加上了效率反而比while还低

5 G( e. X! {$ I# c有点疑惑，同一产品页面每次request会有不同的模板？好像没遇到过。

$ k, @- D5 ]! Y# M9 D' Q" d* R+ |如果同一产品页面每次request有不同模板，while效率要比轮询规则高（总有一次会while到那个模板）；如果同一页面每次request都是一个模板，则可以默认为A规则，采集到了就不轮询，采集不到就换其他规则。做得更智能的话，可以程序动态调整默认规则，提高效率。

阿百川

joul 发表于 2013-5-16 16:21
- O  Q! d; ^4 o5 m& r& D有点疑惑，同一产品页面每次request会有不同的模板？好像没遇到过。

% w1 A/ T# \0 F$ @/ w% l如果同一产品页面每次request有不同 ...

5 }4 w# t. U$ M9 _嗯，同产品，同request，就测试出了三种模板，第三种模板太麻烦就改用while了，目前测试了几千条数据，while最多不超过10次
8 h, |5 `% p6 d$ X
5 _" y5 |+ M2 ~2 ?6 q' C/ I

joul

阿百川 发表于 2013-5-16 16:41
) W- C" [- C/ [* _, i. L+ \嗯，同产品，同request，就测试出了三种模板，第三种模板太麻烦就改用while了，目前测试了几千条数据，wh ...

/ C' B1 k; x' f/ |/ Q  k/ [* S: h学习了！这样的话，只能用while保险了，只是效率慢了些。

阿百川

joul 发表于 2013-5-16 16:46
+ q% C5 c3 D' v学习了！这样的话，只能用while保险了，只是效率慢了些。

3 D, I4 B4 h. ^; U4 E开多线程，速度勉强还可以

beijixing

amazon这种活跃的网站肯定经常改版啊，你只能跟着变，可以写一个监控amazon模板变化的程序，一旦模板变了就跟进吧