[求教]Python怎么获取网页中js生成的数据？

fatiery

用Python写一个多(忽)说(略)的群发程序，现在遇到一个问题，打开的网页中包含一个js文件

1. http://static.duoshuo.com/embed.js

复制代码

里面包含了一段参数，
- R8 R$ G) y1 q# |

1. h="cb_"+Math.round(Math.random()*1e6)

复制代码

生成6位的随机数字，谁知道我怎么获得这个数据？python的selenium模块效率太低，我要效率高的。

请推荐一个模块或者是其他的什么语言， 最好是能快速上手的。
+ x- D2 `8 Y1 e* b, g
8 N  @2 P4 {: ~  M* O' C: r1 A/ T8 ^另外最好能详细一点，不甚感激。
& e! ?% ?, O8 a

Smythe_Bob

试试casperjs模块? 无界面浏览器 可以解析js
" D* h5 [4 B' z, Z7 k官网有很详细文档

1. http://casperjs.org/

复制代码

"CasperJS是一个开源的导航脚本处理和测试工具，基于PhantomJS（前端自动化测试工具）编写。"
0 _, N! V. r4 d7 M4 O( r; v

阿百川

1. import random
   
2. rand = random.randint(100000,999999)
   : V- l' o: i2 p, }& h# [
3. print rand
   / ]8 S, I( {: i/ O

复制代码

生成六位随机数

fatiery

阿百川 发表于 2014-8-5 08:27
生成六位随机数

% U3 d# b. t" R我需要获取js文件中生成的随机数，不是自己生成一个随机数

阿百川

fatiery 发表于 2014-8-5 08:47
我需要获取js文件中生成的随机数，不是自己生成一个随机数

: [6 @9 c6 k+ K这个只是随机生成的吧，又没什么验证

& C7 e1 Z# L7 j; |# Q! X5 x2 C. E

1. https://pypi.python.org/pypi/spynner

复制代码

利用webkit解析js

fatiery

阿百川 发表于 2014-8-5 09:07
. \. N6 U0 _) F) _6 T$ Q& d$ [6 A8 c这个只是随机生成的吧，又没什么验证

" \! v2 d/ ]6 [' \0 Q1 P5 A有验证的，我没写，这个是用get方式提交的

1. http://参数1.duoshuo.com/api/posts/create.jsonp?thread_id=参数2&parent_id=&nonce=参数3&message=参数4&repost=netease&v=140327&_method=POST&callback=DUOSHUO%5B'cb_参数5'%5D

复制代码

我现在就是要获取参数5，参数5在
2 V! v9 _7 H. ^: S4 ]' V

1. http://static.duoshuo.com/embed.js

复制代码

中生成
. |  X+ }6 v( Z

阿百川

fatiery 发表于 2014-8-5 09:18
, j6 G2 K5 B4 d( S9 m4 _有验证的，我没写，这个是用get方式提交的我现在就是要获取参数5，参数5在
% U5 @  T2 B  i* t/ i9 h中生成
...

4 }& H. D; e3 R: d不解析js不好搞，还是用spynner吧

方案1: 内嵌webkit模块运行那个网页（包括js文件），然后用webkit提供的API获取js空间中的变量值。

, s' ~9 @/ M" U- k7 w# B* x# U方案2: 用你使用的语言重写那个js文件中的相关功能，如果你的程序是服务器端运行用nodejs可以省很多工作量
9 u9 t1 }  q. v/ V1 s

darren

也可以挂一个ghost.py, 一般做法就是跑个webkit 的内核，浏览器显示什么，你也就能得到什么

fatiery

我目前还在研究中，这个问题困扰我2天了。。。

fatiery

augustye 发表于 2014-8-5 09:34
* K  T" q9 e' T" [5 }" D' R方案1: 内嵌webkit模块运行那个网页（包括js文件），然后用webkit提供的API获取js空间中的变量值。
% j  T% y+ `, P  M" H
! q, S  r7 O. F; q" l方案2: ...

9 E- [% R# K& t& r5 r方案1.研究中。。。
5 T. ~5 L+ C- i/ F. A1 s/ m8 }方案2.重写js功能估计没用吧。必须要打开网页的时候，打开那个js，那个js应该是包含网页的相关数据的，然后数据应该已经返回到它的服务器上，我提交的时候和服务器上的数据比对，相同才可以提交成功。（我没学过js,这个是流程是我想象的，不是的话，请指出）

fatiery

darren 发表于 2014-8-5 22:25
也可以挂一个ghost.py, 一般做法就是跑个webkit 的内核，浏览器显示什么，你也就能得到什么 ...

7 j2 n8 X9 m, G9 x/ B& R8 A6 H6 Nghost.py以及上面提到的一些，还有没有提到的比如phantomjs，我都搜索到然后测试了有些代码我看不懂，有些出错比如你说的ghost.py

1. from ghost import Ghost
   ! p+ C" |4 J8 r! B- e( x
2. ghost = Ghost()
   6 p- s$ Y) S* \8 w( f) m6 L% _
3. page, extra_resources = ghost.open("http://sayitout.net/item/10826.html")

复制代码

返回超时，无法下载网页的错误，打开百度就没问题。

fatiery 发表于 2014-8-6 01:06
4 \' D9 u9 |' m$ n方案1.研究中。。。
2 }8 X- e1 Q, v6 U) R% S/ R方案2.重写js功能估计没用吧。必须要打开网页的时候，打开那个js，那个js应该是包含网 ...

0 U6 M. V1 K- k3 m那个js里面不包含数据啊，只包含函数，浏览器运行这个js文件的时候会调用其中的函数，发出ajax请求。所以按理说你只需要重写相关部分，模仿下这个ajax请求就好了。

+ i. S9 x8 ]- h8 E( `5 s5 g) s3 F! I另：如果js文件里包含数据，那岂不是更简单，你直接抓取js文件，正则表达式匹配下就好了。

fatiery

. Y& C6 H; z0 K

augustye 发表于 2014-8-6 06:34
$ K% O3 g, W! {那个js里面不包含数据啊，只包含函数，浏览器运行这个js文件的时候会调用其中的函数，发出ajax请求。所以 ...

* S& O! {6 y# M8 B! s8 T如果我懂js，按你说的方法肯定是极好的。但是这个js文件对我而言太复杂，它里面还包含了其他的参数，比如thread_id，这个参数其实我是在另外一个页面抓取的。
5 I3 U# [2 k% @, B7 B/ u
7 h& r; B: q4 {# L7 B这个js不直接包含数据，我现在需要的是这个js打开之后函数生成的6位随机数。我现在还是在用你方案1的方式，找些基于webkit开发的软件。找到一些不错的模块，但是中文的网页就报错。

, W" O7 F6 W/ N& V4 l6 ]  D* E如果愿意PM我你的QQ，我还有个技术问题求教。

fatiery 发表于 2014-8-6 12:12
' |! M$ Y. M. U# _如果我懂js，按你说的方法肯定是极好的。但是这个js文件对我而言太复杂，它里面还包含了其他的参数，比如t ...

其实吧，那个js文件里生成的随机数真的就是个随机数
4 L3 p* B: A4 g2 h
- ^  Q5 W7 }1 w5 A  A* S# |3 C3 Dvar h="cb_"+Math.round(Math.random()*1e6);
3 M3 c* j- a0 X
没什么特别的。。。你完全可以用python生成。。。

如果还需要讨论，把你的QQ发给我，我加你