找回密码
 立即注册

QQ登录

只需一步,快速开始

PropellerAds
⚡️按条S5代理⚡️静态⚡️独享⚡️5GMediabuy⚡️玩家开户首选【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户
Affiliate 全媒体流量资源⚡️Taboola/Outbrain /Bing⚡️一级代理开户投流-7*24h❤️人工在线【官方】❤️搜索套利买量投流开户
独立站⚡️开户投放Google FB TK游戏代投⚡️E.PN 虚拟卡⚡️BINOM TRACKER 60% OFF!
比Adplexity还好用的Spy工具ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理全球虚拟卡, 支持U充值
【15 年团队 - 广告自动化系统、定制开发】【ActionKey】Meta API 桥接令牌尤里改 - FB 稳定投放【神盾 AI】Meta 广告资产防护 永久免费
FB 三不限源头 - 自助下户充值转款各种主页、账单户、BM户(优势)IPCola原生住宅IP⚡️$1.8/条双ISPTK加白户/二解户/FB海外户/GG老户
最大欧洲Nutra网盟BA找量 FB高权重耐操个号⚡️稳定过审联盟收款/海外资金下发/服贸结汇✔Taboola海外户源头
全球效果广告投放平台|Vertoz IngeniousPlexSX.ORG 住宅IP | 凭码ADVERT3免费领3GB广告位出租 
查看: 13253|回复: 19

采集amazon经常返回不同的模板,求解决

[复制链接]

54

主题

9

广告币

6010

积分

禁止访问

积分
6010
发表于 2013-5-14 17:55:44 | 显示全部楼层 |阅读模式
使用amazon的api采集一些数据不全,现在想通过直接采集页面获得
( h! b2 ?- i, d$ v/ ~0 }0 v3 I# X5 @8 j$ r! s" U# O. J2 a
但测试过程中经常碰到同样的request却返回不同的数据,求教原因2 ]' K# g! M- N; K

6 x5 H" b0 Z4 Z" E* L% x; a
相关帖子
Binom_AdvertCN
回复

使用道具 举报

1681

主题

1万

广告币

2万

积分

管理员

宇宙无敌河马天神

积分
28383

社区QQ达人

发表于 2013-5-15 01:10:30 | 显示全部楼层
学会提问的艺术, 从小处入手, 忌大而空
AdvertCN电报群

我最喜欢用的工具
7200W全球动态不重复住宅IP代理
回复 支持 反对

使用道具 举报

54

主题

9

广告币

6010

积分

禁止访问

积分
6010
 楼主| 发表于 2013-5-15 06:27:03 | 显示全部楼层
河小马 发表于 2013-5-15 01:10
* e, u/ O( W! i- a, M" `lz 给个request 看下
  1. GET http://www.amazon.com/gp/dp/B00BZ9NOUS HTTP/1.1
    2 b8 R0 P: m: O# x% o
  2. Accept-Encoding: identity
    8 K/ k% R2 J( r* V0 i1 Z
  3. Accept-Language: en-us,en;q=0.58 i; I; _) `) |* E' x$ X% Z
  4. Dnt: 1
    % K$ A4 p' S* j
  5. Connection: close
      \$ W5 Y/ h$ q! V  b5 n) `5 n& Z
  6. Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8/ H3 l  m0 H+ k7 k, n  b
  7. User-Agent: Mozilla/5.0 (Windows NT 6.1; rv:15.0) Gecko/20100101 Firefox/15.0
    % [7 t- y0 {" m, t* j
  8. Host: www.amazon.com
    ( ?' G; J8 q+ Z5 u
  9. Cache-Control: max-age=0
复制代码
直接是浏览器没碰到锅,但提交request就来回换
回复 支持 反对

使用道具 举报

13

主题

303

广告币

569

积分

中级会员

积分
569

社区QQ达人

发表于 2013-5-15 19:38:01 | 显示全部楼层
可能是useragent的问题.
回复 支持 反对

使用道具 举报

54

主题

9

广告币

6010

积分

禁止访问

积分
6010
 楼主| 发表于 2013-5-15 19:51:43 | 显示全部楼层
goog1e 发表于 2013-5-15 19:38 5 }+ v0 ]7 D# A1 g' Q0 t! H
可能是useragent的问题.
8 E: q* K3 G( R3 U
request已经包含ua了
回复 支持 反对

使用道具 举报

33

主题

57

广告币

309

积分

初级会员

积分
309
发表于 2013-5-15 23:26:16 | 显示全部楼层
你要采集哪些信息呢?是自己写的程序还是用其他软件?
3 T1 j7 r+ |" J4 r& b/ v如果只是产品描述、图片、review之类的,我觉得还行吧,C#的HtmlAgilityPack应该可以搞定。
回复 支持 反对

使用道具 举报

54

主题

9

广告币

6010

积分

禁止访问

积分
6010
 楼主| 发表于 2013-5-16 06:56:50 | 显示全部楼层
joul 发表于 2013-5-15 23:26
* r/ e$ _" |( `: z$ s你要采集哪些信息呢?是自己写的程序还是用其他软件?+ a/ f  r* V5 n, ^1 W
如果只是产品描述、图片、review之类的,我觉得还行 ...

  Z9 K! b; Q# _+ b6 i7 M各种数据很容易采,关键是经常变换模板,偶尔一些模板还需要翻页才能采集
回复 支持 反对

使用道具 举报

33

主题

57

广告币

309

积分

初级会员

积分
309
发表于 2013-5-16 07:36:48 | 显示全部楼层
可能我还没到你这种采集级别吧,呵呵。要么就是采集太少了。7 Z: m" T# I2 v" k* r
7 B- h0 S8 }1 N  z6 e  f! i
我一般是对那些模板变更了的产品直接跳过,比如id读不到之类的,呵呵
回复 支持 反对

使用道具 举报

54

主题

9

广告币

6010

积分

禁止访问

积分
6010
 楼主| 发表于 2013-5-16 08:26:02 | 显示全部楼层
joul 发表于 2013-5-16 07:36
1 P( e: K- Y+ v: i" Z* M) e! y可能我还没到你这种采集级别吧,呵呵。要么就是采集太少了。/ P; R: X$ v4 i5 Y8 _# p
. \; Y' [( Z" l
我一般是对那些模板变更了的产品直接跳过,比 ...

  ^" v' v! G; X  F直接加了while,多读取几遍,符合采集规则的再继续,就是有些影响效率
回复 支持 反对

使用道具 举报

13

主题

303

广告币

569

积分

中级会员

积分
569

社区QQ达人

发表于 2013-5-16 09:09:32 | 显示全部楼层
同一个产品也返回不同的模板,应该不会吧
  g" F" ?4 C3 u, V( H6 Y2 T
8 f" a' M1 Q+ r不同类别的商品模板相差很大的
3 p( O( D$ @# ?" _比如图书和衣服类的商品
2 ]5 e2 f& B& D! V6 S0 R2 i
- Q7 G7 P2 Z6 S5 ~; |- A% f, `感觉amazon在不断的调整前端设计% [9 B' ~- G. g
回复 支持 反对

使用道具 举报

54

主题

9

广告币

6010

积分

禁止访问

积分
6010
 楼主| 发表于 2013-5-16 09:57:45 | 显示全部楼层
goog1e 发表于 2013-5-16 09:09
: j" @" e& T$ a$ S9 }8 m5 K/ f+ M同一个产品也返回不同的模板,应该不会吧  d* v$ R% H9 X; I
/ M; Y8 W, v3 r! @: S+ X
不同类别的商品模板相差很大的
0 j6 B( ?2 l2 ]9 n7 V6 B
最简单的价格,html代码一般是<td id=price>价格</td>,偶尔的<td id=price><strong>价格</stron></td>,还有其他复杂的没记住
回复 支持 反对

使用道具 举报

20

主题

915

广告币

1569

积分

高级会员

积分
1569

社区QQ达人

发表于 2013-5-16 12:07:02 | 显示全部楼层
自己开发的API采集 还是用的什么工具?
回复 支持 反对

使用道具 举报

33

主题

57

广告币

309

积分

初级会员

积分
309
发表于 2013-5-16 12:15:08 | 显示全部楼层
阿百川 发表于 2013-5-16 09:57 . ?- H! N* V- `
最简单的价格,html代码一般是价格,偶尔的价格,还有其他复杂的没记住
- }) ?1 f; u# C5 o
如果只有这类问题,可以考虑用InnerText来采,不用InnerHtml。我建议把数据本地化,再读出来,事先定义好模板再组合成页面。对于产品而言,变动频繁的估计就是价格了,可以考虑每周/每月更新一次数据。
回复 支持 反对

使用道具 举报

33

主题

57

广告币

309

积分

初级会员

积分
309
发表于 2013-5-16 12:19:02 | 显示全部楼层
阿百川 发表于 2013-5-16 08:26 ) S6 ~( f3 u- p- N1 G* @! \7 Y& G; @) q
直接加了while,多读取几遍,符合采集规则的再继续,就是有些影响效率
- `' b4 R% M4 i5 \: W) A% |2 L, }  ~
while多了确实影响效率,可以考虑后面搞多个采集规则模板,一旦变了,就加上这个规则,程序上做轮询。
回复 支持 反对

使用道具 举报

54

主题

9

广告币

6010

积分

禁止访问

积分
6010
 楼主| 发表于 2013-5-16 15:38:38 | 显示全部楼层
joul 发表于 2013-5-16 12:19
$ S8 a" @& F0 n% rwhile多了确实影响效率,可以考虑后面搞多个采集规则模板,一旦变了,就加上这个规则,程序上做轮询。 ...
5 B, P, W% E1 \- X6 f
有几个规则不好处理,如果加上了效率反而比while还低
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2026-11-21 01:21 , Processed in 0.076777 second(s), 23 queries , Gzip On.

Copyright © 2001-2026, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表