找回密码
 立即注册

QQ登录

只需一步,快速开始

PropellerAds
⚡️按条S5代理⚡️静态⚡️独享⚡️5GMediabuy⚡️玩家开户首选【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户
Affiliate 全媒体流量资源⚡️Taboola/Outbrain /Bing⚡️一级代理开户投流-7*24h❤️人工在线【官方】❤️搜索套利买量投流开户
独立站⚡️开户投放Google FB TK游戏代投⚡️E.PN 虚拟卡⚡️BINOM TRACKER 60% OFF!
比Adplexity还好用的Spy工具ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理全球虚拟卡, 支持U充值
【15 年团队 - 广告自动化系统、定制开发】【ActionKey】Meta API 桥接令牌尤里改 - FB 稳定投放【神盾 AI】Meta 广告资产防护 永久免费
FB 三不限源头 - 自助下户充值转款各种主页、账单户、BM户(优势)IPCola原生住宅IP⚡️$1.8/条双ISPTK加白户/二解户/FB海外户/GG老户
最大欧洲Nutra网盟BA找量 FB高权重耐操个号⚡️稳定过审联盟收款/海外资金下发/服贸结汇✔Taboola海外户源头
全球效果广告投放平台|Vertoz IngeniousPlexSX.ORG 住宅IP | 凭码ADVERT3免费领3GB广告位出租 
查看: 23327|回复: 16

[闲聊] [求教]Python怎么获取网页中js生成的数据?

[复制链接]

119

主题

2037

广告币

2608

积分

版主

名利权情牢是非成败空

积分
2608

社区QQ达人

发表于 2014-8-4 23:44:47 | 显示全部楼层 |阅读模式
用Python写一个多(忽)说(略)的群发程序,现在遇到一个问题,打开的网页中包含一个js文件# G- V  u3 R! T. ]1 L6 \* ?+ w
  1. http://static.duoshuo.com/embed.js
复制代码
里面包含了一段参数,. h* c8 V2 P. R9 T, C1 h. E- ^
  1. h="cb_"+Math.round(Math.random()*1e6)
复制代码
生成6位的随机数字,谁知道我怎么获得这个数据?python的selenium模块效率太低,我要效率高的。5 _* B% H) u, c1 \3 z

" r# Y, l$ g  J% M请推荐一个模块或者是其他的什么语言, 最好是能快速上手的。/ r+ g5 R1 q9 x: W! e
0 S: K3 e3 J& _; \" w# Q# p: e) y
另外最好能详细一点,不甚感激。/ @9 `. l5 ?8 n$ d3 c
相关帖子
空
Binom_AdvertCN
回复

使用道具 举报

0

主题

488

广告币

1280

积分

高级会员

积分
1280
发表于 2014-8-5 00:07:58 | 显示全部楼层
试试casperjs模块? 无界面浏览器 可以解析js
5 L; ?0 ^3 s$ f" C$ R官网有很详细文档6 ^' N+ j+ @/ N5 E6 V% k4 [5 g: z
  1. http://casperjs.org/
复制代码
/ H/ r7 ]2 ?% q! {  ^
"CasperJS是一个开源的导航脚本处理和测试工具,基于PhantomJS(前端自动化测试工具)编写。"2 D' `* }6 q1 ~0 S$ F! i
回复 支持 反对

使用道具 举报

54

主题

9

广告币

6010

积分

禁止访问

积分
6010
发表于 2014-8-5 08:27:04 | 显示全部楼层
  1. import random1 w- P; u4 }9 Q7 \4 y6 o0 I( @
  2. rand = random.randint(100000,999999)9 {! U2 E; L  r9 V. e
  3. print rand
      I* i7 W& ]% t  \9 q! W) ]1 |/ ^
复制代码

2 ?2 o1 o" x/ z* R+ s生成六位随机数' C7 [6 r/ R; x8 P1 N% e
, Q7 C* M0 g6 C7 P5 x( }% r4 q- @

点评

我需要获取js文件中生成的随机数,不是自己生成一个随机数  详情 回复 发表于 2014-8-5 08:47
回复 支持 反对

使用道具 举报

119

主题

2037

广告币

2608

积分

版主

名利权情牢是非成败空

积分
2608

社区QQ达人

 楼主| 发表于 2014-8-5 08:47:35 | 显示全部楼层
阿百川 发表于 2014-8-5 08:27
& [- d4 Y2 X! S. X# k生成六位随机数

' E* S2 V1 U: [0 F: {! P: q我需要获取js文件中生成的随机数,不是自己生成一个随机数
空
回复 支持 反对

使用道具 举报

54

主题

9

广告币

6010

积分

禁止访问

积分
6010
发表于 2014-8-5 09:07:01 | 显示全部楼层
fatiery 发表于 2014-8-5 08:47
+ H% C% ^7 s9 ?' I! {0 @3 a# P我需要获取js文件中生成的随机数,不是自己生成一个随机数

; W& N5 F+ v; X& G这个只是随机生成的吧,又没什么验证8 V" K0 _; M, X' ?
3 q1 R( {) F( H8 X/ s( _9 F
  1. https://pypi.python.org/pypi/spynner
复制代码
% j3 v2 R( `6 m3 \# J" T9 }. c7 L
利用webkit解析js

点评

有验证的,我没写,这个是用get方式提交的我现在就是要获取参数5,参数5在 中生成  详情 回复 发表于 2014-8-5 09:18
回复 支持 反对

使用道具 举报

119

主题

2037

广告币

2608

积分

版主

名利权情牢是非成败空

积分
2608

社区QQ达人

 楼主| 发表于 2014-8-5 09:18:01 | 显示全部楼层
阿百川 发表于 2014-8-5 09:07
# Z4 g9 l) @4 _  A这个只是随机生成的吧,又没什么验证
9 f2 ^/ r! X- D5 V( u
有验证的,我没写,这个是用get方式提交的
  1. http://参数1.duoshuo.com/api/posts/create.jsonp?thread_id=参数2&parent_id=&nonce=参数3&message=参数4&repost=netease&v=140327&_method=POST&callback=DUOSHUO%5B'cb_参数5'%5D
复制代码
我现在就是要获取参数5,参数5在
' {! l" g0 I$ h. L' g
  1. http://static.duoshuo.com/embed.js
复制代码
中生成
- C0 B' D% K- H' R: g0 g; c  e
空
回复 支持 反对

使用道具 举报

54

主题

9

广告币

6010

积分

禁止访问

积分
6010
发表于 2014-8-5 09:33:04 | 显示全部楼层
fatiery 发表于 2014-8-5 09:18* t3 r; X. d% S8 F& B
有验证的,我没写,这个是用get方式提交的我现在就是要获取参数5,参数5在
  D2 x3 r9 k& p3 S( b中生成, Q$ L2 p1 o- k
...

, y& o, m! ~4 Z6 Q不解析js不好搞,还是用spynner吧
回复 支持 反对

使用道具 举报

augustye 该用户已被删除
发表于 2014-8-5 09:34:50 | 显示全部楼层
方案1: 内嵌webkit模块运行那个网页(包括js文件),然后用webkit提供的API获取js空间中的变量值。
$ g, _6 M4 h( @4 q0 I9 D# K) z  S6 N% M) F( `; D! @
方案2: 用你使用的语言重写那个js文件中的相关功能,如果你的程序是服务器端运行用nodejs可以省很多工作量( r, Y  r% q4 T  [* }

点评

方案1.执行效率比较低 方案2.重写js功能估计没用吧。必须要打开网页的时候,打开那个js,那个js应该是包含网页的相关数据的,然后数据应该已经返回到它的服务器上,我提交的时候和服务器上的数据比对,相同才可以提  详情 回复 发表于 2014-8-6 01:06
回复 支持 反对

使用道具 举报

10

主题

1314

广告币

1376

积分

高级会员

积分
1376
发表于 2014-8-5 22:25:44 | 显示全部楼层
也可以挂一个ghost.py, 一般做法就是跑个webkit 的内核,浏览器显示什么,你也就能得到什么

点评

ghost.py以及上面提到的一些,还有没有提到的比如phantomjs,我都搜索到然后测试了有些代码我看不懂,有些出错比如你说的ghost.py返回超时,无法下载网页的错误,打开百度就没问题。  详情 回复 发表于 2014-8-6 02:21
回复 支持 反对

使用道具 举报

119

主题

2037

广告币

2608

积分

版主

名利权情牢是非成败空

积分
2608

社区QQ达人

 楼主| 发表于 2014-8-6 00:59:48 | 显示全部楼层
我目前还在研究中,这个问题困扰我2天了。。。
空
回复 支持 反对

使用道具 举报

119

主题

2037

广告币

2608

积分

版主

名利权情牢是非成败空

积分
2608

社区QQ达人

 楼主| 发表于 2014-8-6 01:06:21 | 显示全部楼层
本帖最后由 fatiery 于 2014-8-6 01:26 编辑
- Q3 l1 @' m0 k& F
augustye 发表于 2014-8-5 09:34" ]- X. i' k; d2 e5 S$ B
方案1: 内嵌webkit模块运行那个网页(包括js文件),然后用webkit提供的API获取js空间中的变量值。1 L# K8 I  w0 I5 O- P+ |" D

" i) r* {. L' X4 S2 w+ j* w- ^0 X方案2: ...
; j: H3 z/ h7 y7 P( M
方案1.研究中。。。
' Z" n+ x  v$ W# k方案2.重写js功能估计没用吧。必须要打开网页的时候,打开那个js,那个js应该是包含网页的相关数据的,然后数据应该已经返回到它的服务器上,我提交的时候和服务器上的数据比对,相同才可以提交成功。(我没学过js,这个是流程是我想象的,不是的话,请指出)
空
回复 支持 反对

使用道具 举报

119

主题

2037

广告币

2608

积分

版主

名利权情牢是非成败空

积分
2608

社区QQ达人

 楼主| 发表于 2014-8-6 02:21:54 | 显示全部楼层
darren 发表于 2014-8-5 22:25
/ N# M# w+ R/ `; a" ^8 E0 w也可以挂一个ghost.py, 一般做法就是跑个webkit 的内核,浏览器显示什么,你也就能得到什么 ...

" i0 @) @( l/ S! q! p0 kghost.py以及上面提到的一些,还有没有提到的比如phantomjs,我都搜索到然后测试了有些代码我看不懂,有些出错比如你说的ghost.py
  1. from ghost import Ghost
    6 e7 _& T- o1 ?
  2. ghost = Ghost()- v- q+ C7 W  x+ R
  3. page, extra_resources = ghost.open("http://sayitout.net/item/10826.html")
复制代码
返回超时,无法下载网页的错误,打开百度就没问题。
空
回复 支持 反对

使用道具 举报

augustye 该用户已被删除
发表于 2014-8-6 06:34:01 | 显示全部楼层
fatiery 发表于 2014-8-6 01:06/ E8 S2 F: D$ G
方案1.研究中。。。% w. X4 `+ J# O
方案2.重写js功能估计没用吧。必须要打开网页的时候,打开那个js,那个js应该是包含网 ...

6 N; C) T: a( Q- }那个js里面不包含数据啊,只包含函数,浏览器运行这个js文件的时候会调用其中的函数,发出ajax请求。所以按理说你只需要重写相关部分,模仿下这个ajax请求就好了。
5 F  Q! X/ k6 e# b- o  K  x5 }8 S1 h, |' I0 L
另:如果js文件里包含数据,那岂不是更简单,你直接抓取js文件,正则表达式匹配下就好了。

点评

如果我懂js,按你说的方法肯定是极好的。但是这个js文件对我而言太复杂,它里面还包含了其他的参数,比如thread_id,这个参数其实我是在另外一个页面抓取的。 这个js不直接包含数据,包含的是一个生成随机6位数字的  详情 回复 发表于 2014-8-6 12:12
回复 支持 反对

使用道具 举报

119

主题

2037

广告币

2608

积分

版主

名利权情牢是非成败空

积分
2608

社区QQ达人

 楼主| 发表于 2014-8-6 12:12:30 | 显示全部楼层
本帖最后由 fatiery 于 2014-8-6 12:15 编辑 & L& T/ T/ u" M: L7 b( q
augustye 发表于 2014-8-6 06:34: R* t! b# M( \
那个js里面不包含数据啊,只包含函数,浏览器运行这个js文件的时候会调用其中的函数,发出ajax请求。所以 ...

4 t& s( C' v9 U, w如果我懂js,按你说的方法肯定是极好的。但是这个js文件对我而言太复杂,它里面还包含了其他的参数,比如thread_id,这个参数其实我是在另外一个页面抓取的。9 G/ b- m/ E7 P4 o* Z. o- V
* O8 e8 b" \- A; a
这个js不直接包含数据,我现在需要的是这个js打开之后函数生成的6位随机数。我现在还是在用你方案1的方式,找些基于webkit开发的软件。找到一些不错的模块,但是中文的网页就报错。
% i  n/ U. Q& m% }; M6 m" j/ y$ {7 p1 E
如果愿意PM我你的QQ,我还有个技术问题求教。
空
回复 支持 反对

使用道具 举报

augustye 该用户已被删除
发表于 2014-8-6 15:18:14 | 显示全部楼层
fatiery 发表于 2014-8-6 12:129 S. O0 c) {. n2 E
如果我懂js,按你说的方法肯定是极好的。但是这个js文件对我而言太复杂,它里面还包含了其他的参数,比如t ...
0 R9 d. Z% [* h2 h- R; w
其实吧,那个js文件里生成的随机数真的就是个随机数7 {) ?% w1 `+ O) }+ V) B4 e1 f, c* |

0 o7 [8 C0 S# Y4 j7 N3 [9 ~var h="cb_"+Math.round(Math.random()*1e6);, B7 @1 {, K4 z: [  d1 y/ E
; S% \0 k& ^: W# O) T
没什么特别的。。。你完全可以用python生成。。。
* G6 o2 ^' \6 e( A
9 c" c5 C  G! @7 K: s* R; o4 R+ A, T如果还需要讨论,把你的QQ发给我,我加你
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2026-11-20 21:26 , Processed in 0.080481 second(s), 30 queries , Gzip On.

Copyright © 2001-2026, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表