找回密码
 立即注册

QQ登录

只需一步,快速开始

PropellerAds
⚡️按条S5代理⚡️静态⚡️独享⚡️5GMediabuy⚡️玩家开户首选【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户
Affiliate 全媒体流量资源⚡️Taboola/Outbrain /Bing⚡️一级代理开户投流-7*24h❤️人工在线【官方】❤️搜索套利买量投流开户
独立站⚡️开户投放Google FB TK游戏代投⚡️E.PN 虚拟卡⚡️BINOM TRACKER 60% OFF!
比Adplexity还好用的Spy工具ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理全球虚拟卡, 支持U充值
【15 年团队 - 广告自动化系统、定制开发】【ActionKey】Meta API 桥接令牌尤里改 - FB 稳定投放【神盾 AI】Meta 广告资产防护 永久免费
FB 三不限源头 - 自助下户充值转款各种主页、账单户、BM户(优势)IPCola原生住宅IP⚡️$1.8/条双ISPTK加白户/二解户/FB海外户/GG老户
最大欧洲Nutra网盟BA找量 FB高权重耐操个号⚡️稳定过审联盟收款/海外资金下发/服贸结汇✔Taboola海外户源头
全球效果广告投放平台|Vertoz IngeniousPlexSX.ORG 住宅IP | 凭码ADVERT3免费领3GB广告位出租 
查看: 23329|回复: 16

[闲聊] [求教]Python怎么获取网页中js生成的数据?

[复制链接]

119

主题

2037

广告币

2608

积分

版主

名利权情牢是非成败空

积分
2608

社区QQ达人

发表于 2014-8-4 23:44:47 | 显示全部楼层 |阅读模式
用Python写一个多(忽)说(略)的群发程序,现在遇到一个问题,打开的网页中包含一个js文件6 P" O, Z  a& {& g, Z! L) `
  1. http://static.duoshuo.com/embed.js
复制代码
里面包含了一段参数,/ R) p" n7 L( n
  1. h="cb_"+Math.round(Math.random()*1e6)
复制代码
生成6位的随机数字,谁知道我怎么获得这个数据?python的selenium模块效率太低,我要效率高的。
+ r% w) ^  B% B+ g1 L8 @) h8 p5 Y
+ }: X. U3 n- z% J, _请推荐一个模块或者是其他的什么语言, 最好是能快速上手的。
% q+ M' a0 P2 J, I- P6 w5 G( a$ @
3 D9 O. L$ W4 [  T# O: v" R5 v5 P另外最好能详细一点,不甚感激。
" s! {- ], L, J% h; I2 e
相关帖子
空
Binom_AdvertCN
回复

使用道具 举报

0

主题

488

广告币

1280

积分

高级会员

积分
1280
发表于 2014-8-5 00:07:58 | 显示全部楼层
试试casperjs模块? 无界面浏览器 可以解析js 5 m% D9 X; `$ i
官网有很详细文档* P+ a! h( w4 @- t& }3 w
  1. http://casperjs.org/
复制代码
' \: [3 _6 i% p; q& O& z: Z# I$ E& E
"CasperJS是一个开源的导航脚本处理和测试工具,基于PhantomJS(前端自动化测试工具)编写。"( k' _0 D3 B  P9 p8 ?3 \
回复 支持 反对

使用道具 举报

54

主题

9

广告币

6010

积分

禁止访问

积分
6010
发表于 2014-8-5 08:27:04 | 显示全部楼层
  1. import random. h: j( _# S2 U8 L: {+ ~, D
  2. rand = random.randint(100000,999999)
    * z( Y8 C8 Q' G  E, C
  3. print rand+ n. b+ |% n( w8 ~2 j
复制代码

" S& B) A. D$ G# E3 W8 @8 V2 G* D生成六位随机数1 q, y4 G! i6 i/ t2 m" e: P
6 T" D% U1 x# q9 Z. Q

点评

我需要获取js文件中生成的随机数,不是自己生成一个随机数  详情 回复 发表于 2014-8-5 08:47
回复 支持 反对

使用道具 举报

119

主题

2037

广告币

2608

积分

版主

名利权情牢是非成败空

积分
2608

社区QQ达人

 楼主| 发表于 2014-8-5 08:47:35 | 显示全部楼层
阿百川 发表于 2014-8-5 08:27
, M0 k- G0 {! K5 Q$ w生成六位随机数

& I6 Y6 y+ R4 B; X我需要获取js文件中生成的随机数,不是自己生成一个随机数
空
回复 支持 反对

使用道具 举报

54

主题

9

广告币

6010

积分

禁止访问

积分
6010
发表于 2014-8-5 09:07:01 | 显示全部楼层
fatiery 发表于 2014-8-5 08:47
  u1 O3 g: L1 ^我需要获取js文件中生成的随机数,不是自己生成一个随机数

0 f3 [, m# p: g这个只是随机生成的吧,又没什么验证
. g/ T; S" ]1 s) e' {7 |' {- N# y$ I& K) h0 n. h* ~2 Z
  1. https://pypi.python.org/pypi/spynner
复制代码
2 C6 X/ K& J" Q  b/ W& X
利用webkit解析js

点评

有验证的,我没写,这个是用get方式提交的我现在就是要获取参数5,参数5在 中生成  详情 回复 发表于 2014-8-5 09:18
回复 支持 反对

使用道具 举报

119

主题

2037

广告币

2608

积分

版主

名利权情牢是非成败空

积分
2608

社区QQ达人

 楼主| 发表于 2014-8-5 09:18:01 | 显示全部楼层
阿百川 发表于 2014-8-5 09:075 F6 l0 b, q& z; I' d
这个只是随机生成的吧,又没什么验证

. g9 G5 ?- o% m3 G有验证的,我没写,这个是用get方式提交的
  1. http://参数1.duoshuo.com/api/posts/create.jsonp?thread_id=参数2&parent_id=&nonce=参数3&message=参数4&repost=netease&v=140327&_method=POST&callback=DUOSHUO%5B'cb_参数5'%5D
复制代码
我现在就是要获取参数5,参数5在
/ `7 z! w4 O1 Q& d' V
  1. http://static.duoshuo.com/embed.js
复制代码
中生成
, o- X  t5 e# [0 ^
空
回复 支持 反对

使用道具 举报

54

主题

9

广告币

6010

积分

禁止访问

积分
6010
发表于 2014-8-5 09:33:04 | 显示全部楼层
fatiery 发表于 2014-8-5 09:18
# j+ U) M# W( E% A: a  c有验证的,我没写,这个是用get方式提交的我现在就是要获取参数5,参数5在
% v5 _4 a3 L1 }7 p2 o中生成
* X; ?) t; c9 D/ @ ...

5 Z* u+ B' V' j' Y9 O, E: Q不解析js不好搞,还是用spynner吧
回复 支持 反对

使用道具 举报

augustye 该用户已被删除
发表于 2014-8-5 09:34:50 | 显示全部楼层
方案1: 内嵌webkit模块运行那个网页(包括js文件),然后用webkit提供的API获取js空间中的变量值。
, l/ L5 c, M7 J5 h  S' X: d& Z& G
! a3 T/ ^2 r$ M+ W方案2: 用你使用的语言重写那个js文件中的相关功能,如果你的程序是服务器端运行用nodejs可以省很多工作量& }" K3 [1 a2 A/ o4 }

点评

方案1.执行效率比较低 方案2.重写js功能估计没用吧。必须要打开网页的时候,打开那个js,那个js应该是包含网页的相关数据的,然后数据应该已经返回到它的服务器上,我提交的时候和服务器上的数据比对,相同才可以提  详情 回复 发表于 2014-8-6 01:06
回复 支持 反对

使用道具 举报

10

主题

1314

广告币

1376

积分

高级会员

积分
1376
发表于 2014-8-5 22:25:44 | 显示全部楼层
也可以挂一个ghost.py, 一般做法就是跑个webkit 的内核,浏览器显示什么,你也就能得到什么

点评

ghost.py以及上面提到的一些,还有没有提到的比如phantomjs,我都搜索到然后测试了有些代码我看不懂,有些出错比如你说的ghost.py返回超时,无法下载网页的错误,打开百度就没问题。  详情 回复 发表于 2014-8-6 02:21
回复 支持 反对

使用道具 举报

119

主题

2037

广告币

2608

积分

版主

名利权情牢是非成败空

积分
2608

社区QQ达人

 楼主| 发表于 2014-8-6 00:59:48 | 显示全部楼层
我目前还在研究中,这个问题困扰我2天了。。。
空
回复 支持 反对

使用道具 举报

119

主题

2037

广告币

2608

积分

版主

名利权情牢是非成败空

积分
2608

社区QQ达人

 楼主| 发表于 2014-8-6 01:06:21 | 显示全部楼层
本帖最后由 fatiery 于 2014-8-6 01:26 编辑
5 K, ]  Q: v0 p# s7 x9 b. s
augustye 发表于 2014-8-5 09:34/ m; [8 _7 Y/ p( ]7 o
方案1: 内嵌webkit模块运行那个网页(包括js文件),然后用webkit提供的API获取js空间中的变量值。
: G! t! e5 t$ Q: F8 }  u7 [- e# i0 d6 Z1 D& O1 @0 r
方案2: ...
, X! m3 k. Q5 R0 ~$ X2 }
方案1.研究中。。。. o& e* N5 O' J& w7 I
方案2.重写js功能估计没用吧。必须要打开网页的时候,打开那个js,那个js应该是包含网页的相关数据的,然后数据应该已经返回到它的服务器上,我提交的时候和服务器上的数据比对,相同才可以提交成功。(我没学过js,这个是流程是我想象的,不是的话,请指出)
空
回复 支持 反对

使用道具 举报

119

主题

2037

广告币

2608

积分

版主

名利权情牢是非成败空

积分
2608

社区QQ达人

 楼主| 发表于 2014-8-6 02:21:54 | 显示全部楼层
darren 发表于 2014-8-5 22:25
- [' n9 i, A3 u! m2 a9 _也可以挂一个ghost.py, 一般做法就是跑个webkit 的内核,浏览器显示什么,你也就能得到什么 ...

2 k/ ~8 z0 V. X4 G3 Qghost.py以及上面提到的一些,还有没有提到的比如phantomjs,我都搜索到然后测试了有些代码我看不懂,有些出错比如你说的ghost.py
  1. from ghost import Ghost
    ) m! f" `! P3 J% A
  2. ghost = Ghost(). s2 T0 N9 \$ ]) C
  3. page, extra_resources = ghost.open("http://sayitout.net/item/10826.html")
复制代码
返回超时,无法下载网页的错误,打开百度就没问题。
空
回复 支持 反对

使用道具 举报

augustye 该用户已被删除
发表于 2014-8-6 06:34:01 | 显示全部楼层
fatiery 发表于 2014-8-6 01:06- E7 N! d# H3 u  ]9 T
方案1.研究中。。。- A! F6 ]$ z7 T0 [. a
方案2.重写js功能估计没用吧。必须要打开网页的时候,打开那个js,那个js应该是包含网 ...
6 u" F( {. B0 v& R0 i4 i. E
那个js里面不包含数据啊,只包含函数,浏览器运行这个js文件的时候会调用其中的函数,发出ajax请求。所以按理说你只需要重写相关部分,模仿下这个ajax请求就好了。
+ Y9 p6 c5 ~9 h
; w/ V4 N- `7 U! T  B0 e. N7 a2 T另:如果js文件里包含数据,那岂不是更简单,你直接抓取js文件,正则表达式匹配下就好了。

点评

如果我懂js,按你说的方法肯定是极好的。但是这个js文件对我而言太复杂,它里面还包含了其他的参数,比如thread_id,这个参数其实我是在另外一个页面抓取的。 这个js不直接包含数据,包含的是一个生成随机6位数字的  详情 回复 发表于 2014-8-6 12:12
回复 支持 反对

使用道具 举报

119

主题

2037

广告币

2608

积分

版主

名利权情牢是非成败空

积分
2608

社区QQ达人

 楼主| 发表于 2014-8-6 12:12:30 | 显示全部楼层
本帖最后由 fatiery 于 2014-8-6 12:15 编辑 ( u& q; I! l$ f  ^) f* Y; G
augustye 发表于 2014-8-6 06:346 c* e- Y) {0 r9 r* R
那个js里面不包含数据啊,只包含函数,浏览器运行这个js文件的时候会调用其中的函数,发出ajax请求。所以 ...
3 J$ S" a$ s4 g0 T
如果我懂js,按你说的方法肯定是极好的。但是这个js文件对我而言太复杂,它里面还包含了其他的参数,比如thread_id,这个参数其实我是在另外一个页面抓取的。
+ _$ l, \% H! U- x8 [
9 Z& K7 V  \2 m6 P这个js不直接包含数据,我现在需要的是这个js打开之后函数生成的6位随机数。我现在还是在用你方案1的方式,找些基于webkit开发的软件。找到一些不错的模块,但是中文的网页就报错。( d+ s" u2 D% y# Y3 Z

3 T) _* I2 ^& t- ~5 ^如果愿意PM我你的QQ,我还有个技术问题求教。
空
回复 支持 反对

使用道具 举报

augustye 该用户已被删除
发表于 2014-8-6 15:18:14 | 显示全部楼层
fatiery 发表于 2014-8-6 12:12
# z# E$ c+ `/ C5 X如果我懂js,按你说的方法肯定是极好的。但是这个js文件对我而言太复杂,它里面还包含了其他的参数,比如t ...
: k4 `2 e$ l+ r' n8 _! d9 B
其实吧,那个js文件里生成的随机数真的就是个随机数9 |  R+ k% J4 m  X- D
4 a' U# g8 I. v: G7 `2 f
var h="cb_"+Math.round(Math.random()*1e6);
  M1 \+ G' z. u! z4 I0 f6 K4 ~" @8 O1 X
没什么特别的。。。你完全可以用python生成。。。
% O) v* l8 a1 d0 @- V( c! [3 N
, e7 }% p+ b/ g$ f如果还需要讨论,把你的QQ发给我,我加你
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2026-11-20 21:34 , Processed in 0.078636 second(s), 30 queries , Gzip On.

Copyright © 2001-2026, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表