采集amazon经常返回不同的模板，求解决

joul

阿百川 发表于 2013-5-16 15:38
: j7 d4 r4 p8 S5 ]$ n; ?; A# V有几个规则不好处理，如果加上了效率反而比while还低

有点疑惑，同一产品页面每次request会有不同的模板？好像没遇到过。
! _) S$ G: s! a& v- i  y
3 y) ?8 A( V' {+ w  E* [- z如果同一产品页面每次request有不同模板，while效率要比轮询规则高（总有一次会while到那个模板）；如果同一页面每次request都是一个模板，则可以默认为A规则，采集到了就不轮询，采集不到就换其他规则。做得更智能的话，可以程序动态调整默认规则，提高效率。

阿百川

joul 发表于 2013-5-16 16:21
; I+ K1 X2 w7 C. x2 r2 z' F有点疑惑，同一产品页面每次request会有不同的模板？好像没遇到过。

" b0 S, n* I7 v3 i4 X% ^0 U如果同一产品页面每次request有不同 ...

( j9 P2 |  E5 o1 X. {8 L嗯，同产品，同request，就测试出了三种模板，第三种模板太麻烦就改用while了，目前测试了几千条数据，while最多不超过10次
$ V9 ]* u4 n1 s; s2 q( B6 n
& }3 R  c9 q" e+ @' D2 t2 j# U' C" D

joul

阿百川 发表于 2013-5-16 16:41
嗯，同产品，同request，就测试出了三种模板，第三种模板太麻烦就改用while了，目前测试了几千条数据，wh ...

& ~( [+ r2 s1 w- C1 d0 k+ x学习了！这样的话，只能用while保险了，只是效率慢了些。

阿百川

joul 发表于 2013-5-16 16:46
0 w4 V( |" [1 S: t学习了！这样的话，只能用while保险了，只是效率慢了些。

开多线程，速度勉强还可以

beijixing

amazon这种活跃的网站肯定经常改版啊，你只能跟着变，可以写一个监控amazon模板变化的程序，一旦模板变了就跟进吧