|
|
本帖最后由 cdwyd 于 2016-10-16 22:38 编辑 ) i3 c! G5 X! |
6 J9 V% @9 R$ X/ F$ ] w7 L0 _
可能这边的朋友不太需要这些东西，就当作是一点技术分享吧。
* I# W4 S/ |3 T
6 r7 P' A9 v" V昨天发了一个帖子（http://www.advertcn.com/thread-34901-1-1.html），说是打算接一些爬虫抓取类的单子，从论坛（发了两个论坛）来了不少朋友加好友，有些朋友对数据感兴趣，不过采集的数据不太适合公开，所以把思路和部分源码分享下吧。欢迎大家私信或者QQ方式进行技术交流或者合作。
; A, g6 G+ l6 P" p. v: N9 r8 y7 x( T' g/ T$ D
## 豆瓣电影
2 j9 B) x- H; |$ m. y# ^
: m9 l' D/ k9 I! { v# P% h$ g9 ?# t ?, Z- G) {4 C. f
因为豆瓣电影有api，所有采集豆瓣最方便的方式还是先获取id。豆瓣的电影、图书等id。获取到id后直接调用api抓取就行。豆瓣api有限制，可以使用拨号或者大量代理。4 D/ C) t" T# G( N8 a$ M
" a. E6 Z+ x+ E8 S
## 百度网盘
: ]+ s$ d; P3 Q# |2 ~* I& h# t# w/ s F. K( E$ p4 i" J* P2 D8 o: [5 ^
百度网盘的主要思路是先获取用户uk，通过uk可以拿到分享列表，然后获取到分享数据。 o3 s+ l5 F/ @7 q. h# @
' n( i- z7 U! }; j0 }
### UK获取的方式：9 j: C3 Y" Y1 `& i
1. 循环抓取用户的粉丝还有用的订阅. |2 s( } w: d" }7 ?
2. 从各个网盘搜索站点抓取
% ?9 w& Z2 n+ U1 `8 | 3. 利用大量关键词从bing搜索，google搜索的结果中提取。
. q+ o2 n2 v" m8 k 利用上面三种方法总共抓取了大概500W的有效分享用户
) ]& b8 w$ y3 O+ P' B7 g2 y6 l/ N0 d; _/ ^8 L4 {0 W; \$ A
### 失效链接检测
7 k& u+ D# v+ o5 \& `6 N' k0 n 这个是很多网盘搜索站做的不太好的地方，很多资源都是失效。快速检测失效链接的方法是用head请求判断百度的返回信息就可以知道资源是否有效。用这种方式单台电脑每天能查询1000W左右的资源是否失效。 s$ R* b! E: d1 t( p
5 _1 ~7 \; `, I" E! d$ q! _9 J6 r
### 百度的反爬虫策略
) l/ N! j* x+ S" ]" v 除了限制IP抓取频率外，百度还对同一个UK的最大抓取有限制，超过限制后会随机返回数据。
& {: m6 o6 ?3 N( C; v6 t, c& g% o2 u% d7 e/ O' t
0 C, Q+ B7 _6 _6 I' Q+ h3 a豆瓣的源码附件中就有，百度的就不发了，主要原因是里面涉及一点百度反爬虫的东西，一旦公开估计很快就会被封。另外豆瓣的抓取源码是最初可用版本，重构后的那一份找不着了。。。写的比较随意，所以见笑见笑。
% `: o: t$ p/ j+ G3 r" Q6 o: x$ \8 i5 y; A3 n F, F, x0 |
/ g. h( u1 t1 L# O5 j
- y; U. Z) P: @3 a* L按照惯例广告最后的应该是广告：有需要数据抓取，爬虫定制、工具开发方面的需求的朋友欢迎联系QQ：2870698831。关于数据，目前确实没打算出售主要还是考虑两个方面一个是影响另一个是公开后可能自己又要去找新的绕过方式，如果感兴趣的朋友比较多，价格合适的话我考虑下统一价格出售给需要的朋友。; Y/ E' b6 w% S$ }
* B; o9 g. c* e, O$ l还有一点关于接单价格，我给自己定了个原则目前低于200的不做，有些功能可能就几行十几行代码，还希望能理解。200算是一个小小的门槛吧，我不太希望技术变得太过廉价。
* o6 D: u' W1 k: r3 J+ ~- |! s! B: N, R& ~- Y! i# l
|
本帖子中包含更多资源
您需要 登录 才可以下载或查看，没有账号？立即注册
x
|
发表于 2016-10-16 22:34:21
发表于 2016-10-16 22:39:47
发表于 2016-10-17 08:52:24
发表于 2017-7-18 08:52:47