找回密码
 立即注册

QQ登录

只需一步,快速开始

PropellerAds
⚡️按条S5代理⚡️静态⚡️独享⚡️5GMediabuy⚡️玩家开户首选【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户
Affiliate 全媒体流量资源⚡️Taboola/Outbrain /Bing⚡️一级代理开户投流-7*24h❤️人工在线【官方】❤️搜索套利买量投流开户
独立站⚡️开户投放Google FB TK游戏代投⚡️E.PN 虚拟卡⚡️BINOM TRACKER 60% OFF!
比Adplexity还好用的Spy工具ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理全球虚拟卡, 支持U充值
【15 年团队 - 广告自动化系统、定制开发】【ActionKey】Meta API 桥接令牌尤里改 - FB 稳定投放【神盾 AI】Meta 广告资产防护 永久免费
FB 三不限源头 - 自助下户充值转款各种主页、账单户、BM户(优势)IPCola原生住宅IP⚡️$1.8/条双ISPTK加白户/二解户/FB海外户/GG老户
最大欧洲Nutra网盟BA找量 FB高权重耐操个号⚡️稳定过审联盟收款/海外资金下发/服贸结汇✔Taboola海外户源头
全球效果广告投放平台|Vertoz IngeniousPlexSX.ORG 住宅IP | 凭码ADVERT3免费领3GB广告位出租 
查看: 13251|回复: 19

采集amazon经常返回不同的模板,求解决

[复制链接]

54

主题

9

广告币

6010

积分

禁止访问

积分
6010
发表于 2013-5-14 17:55:44 | 显示全部楼层 |阅读模式
Influxtec
使用amazon的api采集一些数据不全,现在想通过直接采集页面获得. ^+ F& Y/ g! d

: `8 z+ P0 q) y$ ~( C1 C  m但测试过程中经常碰到同样的request却返回不同的数据,求教原因
: W% ~( I+ E& q9 X: v7 V
$ M$ c4 K3 i- @( d+ f9 K1 V
相关帖子
Binom_AdvertCN
回复

使用道具 举报

1681

主题

1万

广告币

2万

积分

管理员

宇宙无敌河马天神

积分
28383

社区QQ达人

发表于 2013-5-15 01:10:30 | 显示全部楼层
学会提问的艺术, 从小处入手, 忌大而空
AdvertCN电报群

我最喜欢用的工具
7200W全球动态不重复住宅IP代理
回复 支持 反对

使用道具 举报

54

主题

9

广告币

6010

积分

禁止访问

积分
6010
 楼主| 发表于 2013-5-15 06:27:03 | 显示全部楼层
河小马 发表于 2013-5-15 01:10
7 D9 W- j3 I2 Ylz 给个request 看下
  1. GET http://www.amazon.com/gp/dp/B00BZ9NOUS HTTP/1.1
    8 f1 l, N& c  \* e
  2. Accept-Encoding: identity4 r, I- C" z* W$ S3 S* U2 e
  3. Accept-Language: en-us,en;q=0.5; v7 n+ k! W! W( {+ {) r  ^
  4. Dnt: 1
    ! H4 L: B! u& R
  5. Connection: close
    3 _; f6 T: Z( A! c
  6. Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8" F2 l1 I9 c( ]5 ~2 o9 p6 y
  7. User-Agent: Mozilla/5.0 (Windows NT 6.1; rv:15.0) Gecko/20100101 Firefox/15.0: Z& ]$ L' p; f! B( ?
  8. Host: www.amazon.com! ?- A2 }6 k( U- D
  9. Cache-Control: max-age=0
复制代码
直接是浏览器没碰到锅,但提交request就来回换
回复 支持 反对

使用道具 举报

13

主题

303

广告币

569

积分

中级会员

积分
569

社区QQ达人

发表于 2013-5-15 19:38:01 | 显示全部楼层
可能是useragent的问题.
回复 支持 反对

使用道具 举报

54

主题

9

广告币

6010

积分

禁止访问

积分
6010
 楼主| 发表于 2013-5-15 19:51:43 | 显示全部楼层
goog1e 发表于 2013-5-15 19:38 ( p; \& v. }6 o( w
可能是useragent的问题.
  W) Z+ w( T: D( D+ y" \" R
request已经包含ua了
回复 支持 反对

使用道具 举报

33

主题

57

广告币

309

积分

初级会员

积分
309
发表于 2013-5-15 23:26:16 | 显示全部楼层
你要采集哪些信息呢?是自己写的程序还是用其他软件?5 n  q+ g# {* F7 S! A
如果只是产品描述、图片、review之类的,我觉得还行吧,C#的HtmlAgilityPack应该可以搞定。
回复 支持 反对

使用道具 举报

54

主题

9

广告币

6010

积分

禁止访问

积分
6010
 楼主| 发表于 2013-5-16 06:56:50 | 显示全部楼层
joul 发表于 2013-5-15 23:26
; [! J0 \; H' X4 k# k7 T你要采集哪些信息呢?是自己写的程序还是用其他软件?& I# A" S% i8 V$ s2 u, m9 W* b2 t( \3 e
如果只是产品描述、图片、review之类的,我觉得还行 ...
8 k) {  K0 c4 i# {7 @0 x: v4 j5 Z
各种数据很容易采,关键是经常变换模板,偶尔一些模板还需要翻页才能采集
回复 支持 反对

使用道具 举报

33

主题

57

广告币

309

积分

初级会员

积分
309
发表于 2013-5-16 07:36:48 | 显示全部楼层
可能我还没到你这种采集级别吧,呵呵。要么就是采集太少了。  ^; p$ S$ x2 V$ @

: m8 [& s( {; }' L' S我一般是对那些模板变更了的产品直接跳过,比如id读不到之类的,呵呵
回复 支持 反对

使用道具 举报

54

主题

9

广告币

6010

积分

禁止访问

积分
6010
 楼主| 发表于 2013-5-16 08:26:02 | 显示全部楼层
joul 发表于 2013-5-16 07:36 0 W8 U4 h1 R- v3 D8 K3 U
可能我还没到你这种采集级别吧,呵呵。要么就是采集太少了。
6 I/ q1 E: Q, h+ `: N) b9 i. h# C7 y  f3 T$ d! Q; T
我一般是对那些模板变更了的产品直接跳过,比 ...
. |9 Z$ t2 @1 _
直接加了while,多读取几遍,符合采集规则的再继续,就是有些影响效率
回复 支持 反对

使用道具 举报

13

主题

303

广告币

569

积分

中级会员

积分
569

社区QQ达人

发表于 2013-5-16 09:09:32 | 显示全部楼层
同一个产品也返回不同的模板,应该不会吧6 A- c. |0 X3 [8 M

2 I% {7 Q/ Z1 n9 z6 ?! g6 P' r* _5 {不同类别的商品模板相差很大的
6 Q; M3 }, T# o8 Y% j! @比如图书和衣服类的商品
% t. ], T. C. y. b  p$ R/ M# Z5 Z+ K) x$ t1 F
感觉amazon在不断的调整前端设计  ~/ y8 L; G3 w$ N# N
回复 支持 反对

使用道具 举报

54

主题

9

广告币

6010

积分

禁止访问

积分
6010
 楼主| 发表于 2013-5-16 09:57:45 | 显示全部楼层
goog1e 发表于 2013-5-16 09:09 ; W; }/ B5 |( L% d3 C3 ]
同一个产品也返回不同的模板,应该不会吧! G) B% F& N6 B: [" H# m2 s

( ]! t3 @8 S$ [$ ]: a不同类别的商品模板相差很大的

1 T1 T- o1 E1 r( E最简单的价格,html代码一般是<td id=price>价格</td>,偶尔的<td id=price><strong>价格</stron></td>,还有其他复杂的没记住
回复 支持 反对

使用道具 举报

20

主题

915

广告币

1569

积分

高级会员

积分
1569

社区QQ达人

发表于 2013-5-16 12:07:02 | 显示全部楼层
自己开发的API采集 还是用的什么工具?
回复 支持 反对

使用道具 举报

33

主题

57

广告币

309

积分

初级会员

积分
309
发表于 2013-5-16 12:15:08 | 显示全部楼层
阿百川 发表于 2013-5-16 09:57
: u0 q: [: F% I& q最简单的价格,html代码一般是价格,偶尔的价格,还有其他复杂的没记住

9 ^4 t3 Y% u: y3 ^2 P  |如果只有这类问题,可以考虑用InnerText来采,不用InnerHtml。我建议把数据本地化,再读出来,事先定义好模板再组合成页面。对于产品而言,变动频繁的估计就是价格了,可以考虑每周/每月更新一次数据。
回复 支持 反对

使用道具 举报

33

主题

57

广告币

309

积分

初级会员

积分
309
发表于 2013-5-16 12:19:02 | 显示全部楼层
阿百川 发表于 2013-5-16 08:26
- ^+ g3 j  t" g6 s7 H/ O+ Q直接加了while,多读取几遍,符合采集规则的再继续,就是有些影响效率
/ I& O. V" v9 |0 s9 q. ~6 s8 ]
while多了确实影响效率,可以考虑后面搞多个采集规则模板,一旦变了,就加上这个规则,程序上做轮询。
回复 支持 反对

使用道具 举报

54

主题

9

广告币

6010

积分

禁止访问

积分
6010
 楼主| 发表于 2013-5-16 15:38:38 | 显示全部楼层
joul 发表于 2013-5-16 12:19
0 V- r  }, f5 ?# n9 r4 Ewhile多了确实影响效率,可以考虑后面搞多个采集规则模板,一旦变了,就加上这个规则,程序上做轮询。 ...
: j! R0 ]: f% ?0 x; s4 u) H/ b
有几个规则不好处理,如果加上了效率反而比while还低
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2026-11-21 01:15 , Processed in 0.097007 second(s), 23 queries , Gzip On.

Copyright © 2001-2026, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表