AdvertCN - 广告中国

 找回密码
 立即注册

QQ登录

只需一步,快速开始

PropellerAds
Google-Bing-Mediago-Criteo开户
⚡️按条S5代理⚡️静态⚡️独享⚡️5G广告专用虚拟卡/U充值/高返点皇家代理IP⚡️#1性价比⚡️
Mediabuy⚡️玩家开户首选【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户Affiliate 全媒体流量资源⚡️
Taboola/Outbrain /Bing⚡️一级代理开户投流-7*24h❤️人工在线【官方】❤️搜索套利买量投流开户独立站⚡️开户投放
⚡️AdsPower:安全不封号,高效自动化Google FB TK游戏代投⚡️E.PN 虚拟卡⚡️BINOM TRACKER 60% OFF!
比Adplexity还好用的Spy工具ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理虚拟信用卡+独立站收款
全球虚拟卡, 支持U充值各种主页、账单户、BM户(优势)⚡️TikTok企业户,bm户,账单户IPCola原生住宅IP⚡️$1.8/条双ISP
FB海外户、GG老户、TK加白老户PTM虚拟卡[全新卡BIN+高返点]FB虚拟卡⚡️消费越多返现越多最大欧洲Nutra网盟BA找量
高品质·稳定高速纯净IP FB个号1块一个TikTok2审户/老户/国内外端口/加白SX.ORG 高质量代理⚡235+ 地区
GG,FB,TK, 欧美源头, 欢迎合作❤️跨境债务催收/风险代理高权重Google老户[卖户+筛户等级] 海外斗篷・智能广告过审率高达 99%
DataImpulse⚡️纯净住宅代理仅 $1FB企业户海外户,授信户,TK加白户广告位出租8500万高质量住宅IP,助力各种需求
虚拟卡返佣1%,国内持牌机构   
查看: 12808|回复: 19

采集amazon经常返回不同的模板,求解决

[复制链接]

54

主题

9

广告币

6010

积分

禁止访问

积分
6010
发表于 2013-5-14 17:55:44 | 显示全部楼层 |阅读模式
使用amazon的api采集一些数据不全,现在想通过直接采集页面获得
7 w: i3 k, G' i3 Q6 B! _( y) q6 x+ h. \0 `. F3 h9 v4 N) I
但测试过程中经常碰到同样的request却返回不同的数据,求教原因
; R0 `" ?! @7 [. C+ r2 t( E6 n% |9 v2 W+ T& H
相关帖子
回复

使用道具 举报

1656

主题

1万

广告币

2万

积分

管理员

宇宙无敌河马天神

Rank: 9Rank: 9Rank: 9

积分
27649

社区QQ达人

发表于 2013-5-15 01:10:30 | 显示全部楼层
学会提问的艺术, 从小处入手, 忌大而空
AdvertCN电报群

我最喜欢用的工具
7200W全球动态不重复住宅IP代理
回复 支持 反对

使用道具 举报

54

主题

9

广告币

6010

积分

禁止访问

积分
6010
 楼主| 发表于 2013-5-15 06:27:03 | 显示全部楼层
河小马 发表于 2013-5-15 01:10 % {8 Q( _5 B: x5 H5 ^3 l! H
lz 给个request 看下
  1. GET http://www.amazon.com/gp/dp/B00BZ9NOUS HTTP/1.1
    * x8 `: X8 x  J  ~0 J: x: C
  2. Accept-Encoding: identity
    8 E$ \7 P1 z; y  t: a( K5 g: {
  3. Accept-Language: en-us,en;q=0.54 b. ]: d3 u8 Z2 C2 w3 H9 P
  4. Dnt: 1
    2 l# M- ~0 c: n) _
  5. Connection: close' z6 T1 @* `# _* z& R
  6. Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
    * F  L* @/ q5 I; {, |% `0 G7 u
  7. User-Agent: Mozilla/5.0 (Windows NT 6.1; rv:15.0) Gecko/20100101 Firefox/15.0
    ' a0 `" |" c8 U, ~& ~
  8. Host: www.amazon.com$ m; ]& c. @1 }% ~; O9 d" u& B
  9. Cache-Control: max-age=0
复制代码
直接是浏览器没碰到锅,但提交request就来回换
回复 支持 反对

使用道具 举报

13

主题

303

广告币

569

积分

中级会员

Rank: 3Rank: 3

积分
569

社区QQ达人

发表于 2013-5-15 19:38:01 | 显示全部楼层
可能是useragent的问题.
回复 支持 反对

使用道具 举报

54

主题

9

广告币

6010

积分

禁止访问

积分
6010
 楼主| 发表于 2013-5-15 19:51:43 | 显示全部楼层
goog1e 发表于 2013-5-15 19:38
, i; R+ D% j& ^1 M  O  s可能是useragent的问题.

' Y$ ^* E3 l) a3 T0 Mrequest已经包含ua了
回复 支持 反对

使用道具 举报

33

主题

57

广告币

309

积分

初级会员

Rank: 2

积分
309
发表于 2013-5-15 23:26:16 | 显示全部楼层
你要采集哪些信息呢?是自己写的程序还是用其他软件?
9 m1 X8 }& C, o, v- a如果只是产品描述、图片、review之类的,我觉得还行吧,C#的HtmlAgilityPack应该可以搞定。
回复 支持 反对

使用道具 举报

54

主题

9

广告币

6010

积分

禁止访问

积分
6010
 楼主| 发表于 2013-5-16 06:56:50 | 显示全部楼层
joul 发表于 2013-5-15 23:26 ( E1 ?* G5 S( z9 q9 Q! L
你要采集哪些信息呢?是自己写的程序还是用其他软件?
1 p" R# ]6 y2 c" p$ C* x" Y如果只是产品描述、图片、review之类的,我觉得还行 ...

! P- m2 Z, p+ ^9 E( v; z. ~; t各种数据很容易采,关键是经常变换模板,偶尔一些模板还需要翻页才能采集
回复 支持 反对

使用道具 举报

33

主题

57

广告币

309

积分

初级会员

Rank: 2

积分
309
发表于 2013-5-16 07:36:48 | 显示全部楼层
可能我还没到你这种采集级别吧,呵呵。要么就是采集太少了。, _. v0 q# z: J) [

* x# A# x! v6 V  y; m! Y* N& a我一般是对那些模板变更了的产品直接跳过,比如id读不到之类的,呵呵
回复 支持 反对

使用道具 举报

54

主题

9

广告币

6010

积分

禁止访问

积分
6010
 楼主| 发表于 2013-5-16 08:26:02 | 显示全部楼层
joul 发表于 2013-5-16 07:36 & o8 ]) y! K: j; L1 q& _* @4 v5 }
可能我还没到你这种采集级别吧,呵呵。要么就是采集太少了。
5 v$ M+ V2 L' \( n) D$ |1 i
. D* w5 ?2 n% A+ ?; k8 C+ {我一般是对那些模板变更了的产品直接跳过,比 ...

& T# M) d( T% {. R6 @8 d) \直接加了while,多读取几遍,符合采集规则的再继续,就是有些影响效率
回复 支持 反对

使用道具 举报

13

主题

303

广告币

569

积分

中级会员

Rank: 3Rank: 3

积分
569

社区QQ达人

发表于 2013-5-16 09:09:32 | 显示全部楼层
同一个产品也返回不同的模板,应该不会吧
$ g; }: K& d6 d$ c. ?
& [, N9 _6 d: `不同类别的商品模板相差很大的
0 X- m  `0 u1 ]* i. B比如图书和衣服类的商品
% h' @' N8 j: n1 D( h' J1 l8 Q/ L$ H. s' C
感觉amazon在不断的调整前端设计8 e# i  E  \. C2 @: e: ^
回复 支持 反对

使用道具 举报

54

主题

9

广告币

6010

积分

禁止访问

积分
6010
 楼主| 发表于 2013-5-16 09:57:45 | 显示全部楼层
goog1e 发表于 2013-5-16 09:09 # }9 b* B% l7 O7 ?
同一个产品也返回不同的模板,应该不会吧. w1 G! a$ K4 d- R" a

- q7 J8 a7 U5 ]8 I6 q2 c不同类别的商品模板相差很大的
' d5 W& n  H+ n. W, s
最简单的价格,html代码一般是<td id=price>价格</td>,偶尔的<td id=price><strong>价格</stron></td>,还有其他复杂的没记住
回复 支持 反对

使用道具 举报

20

主题

915

广告币

1569

积分

高级会员

Rank: 4

积分
1569

社区QQ达人

发表于 2013-5-16 12:07:02 | 显示全部楼层
自己开发的API采集 还是用的什么工具?
回复 支持 反对

使用道具 举报

33

主题

57

广告币

309

积分

初级会员

Rank: 2

积分
309
发表于 2013-5-16 12:15:08 | 显示全部楼层
阿百川 发表于 2013-5-16 09:57 ( {4 Y, l" \4 C# \, ?
最简单的价格,html代码一般是价格,偶尔的价格,还有其他复杂的没记住
* l+ h2 Y5 z: L) n* [
如果只有这类问题,可以考虑用InnerText来采,不用InnerHtml。我建议把数据本地化,再读出来,事先定义好模板再组合成页面。对于产品而言,变动频繁的估计就是价格了,可以考虑每周/每月更新一次数据。
回复 支持 反对

使用道具 举报

33

主题

57

广告币

309

积分

初级会员

Rank: 2

积分
309
发表于 2013-5-16 12:19:02 | 显示全部楼层
阿百川 发表于 2013-5-16 08:26
+ f1 R: W, F7 F3 G4 ?% ?直接加了while,多读取几遍,符合采集规则的再继续,就是有些影响效率
0 M# w% U: `5 n; l/ O+ Y" C
while多了确实影响效率,可以考虑后面搞多个采集规则模板,一旦变了,就加上这个规则,程序上做轮询。
回复 支持 反对

使用道具 举报

54

主题

9

广告币

6010

积分

禁止访问

积分
6010
 楼主| 发表于 2013-5-16 15:38:38 | 显示全部楼层
joul 发表于 2013-5-16 12:19 . ~- }- H' i; w8 ~4 R  \( w# n$ I: x
while多了确实影响效率,可以考虑后面搞多个采集规则模板,一旦变了,就加上这个规则,程序上做轮询。 ...
* C8 i& }; M! L
有几个规则不好处理,如果加上了效率反而比while还低
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2026-4-4 23:13 , Processed in 0.052944 second(s), 14 queries , Gzip On, MemCache On.

Copyright © 2001-2023, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表