分享下：豆瓣电影、百度网盘的采集思路和源码

cdwyd

1 ?& Z: @6 ~1 b2 t3 h2 e9 R/ X
1 @# h0 p, J4 v" H: R4 z1 k可能这边的朋友不太需要这些东西，就当作是一点技术分享吧。

昨天发了一个帖子（http://www.advertcn.com/thread-34901-1-1.html），说是打算接一些爬虫抓取类的单子，从论坛（发了两个论坛）来了不少朋友加好友，有些朋友对数据感兴趣，不过采集的数据不太适合公开，所以把思路和部分源码分享下吧。欢迎大家私信或者QQ方式进行技术交流或者合作。
; a, L: I. ^' f7 x6 |. |
: ^/ T' R# u  P; x$ e! P; S) \## 豆瓣电影
2 }* R+ I4 ]% K2 k: P0 F* e3 R

因为豆瓣电影有api，所有采集豆瓣最方便的方式还是先获取id。豆瓣的电影、图书等id。获取到id后直接调用api抓取就行。豆瓣api有限制，可以使用拨号或者大量代理。

## 百度网盘

6 ^/ U  O9 g) A百度网盘的主要思路是先获取用户uk，通过uk可以拿到分享列表，然后获取到分享数据。
! k+ I" j9 c/ M
' j+ e/ @% e  m# t7 p; a### UK获取的方式：
. c  L8 F! U* X. u7 m2 Z2 G8 e        1. 循环抓取用户的粉丝还有用的订阅
, N& e- R4 P! }( p' S( f5 a" S        2. 从各个网盘搜索站点抓取
/ e% i( w9 o* O        3. 利用大量关键词从bing搜索，google搜索的结果中提取。
. g# `! a7 b6 W' p' z3 e        利用上面三种方法总共抓取了大概500W的有效分享用户

1 n: a% C7 Q/ r: S9 [% P0 K### 失效链接检测
        这个是很多网盘搜索站做的不太好的地方，很多资源都是失效。快速检测失效链接的方法是用head请求判断百度的返回信息就可以知道资源是否有效。用这种方式单台电脑每天能查询1000W左右的资源是否失效。

9 ^. S. x. a9 U' V4 a4 B% E### 百度的反爬虫策略
2 j. v' N; V/ z' C6 H1 @        除了限制IP抓取频率外，百度还对同一个UK的最大抓取有限制，超过限制后会随机返回数据。
8 {, n) _$ C0 {/ _9 k$ t

4 m# o6 j* Q" _* M) P豆瓣的源码附件中就有，百度的就不发了，主要原因是里面涉及一点百度反爬虫的东西，一旦公开估计很快就会被封。另外豆瓣的抓取源码是最初可用版本，重构后的那一份找不着了。。。写的比较随意，所以见笑见笑。


2 q5 g, `# A% i  t; `+ \
按照惯例广告最后的应该是广告：有需要数据抓取，爬虫定制、工具开发方面的需求的朋友欢迎联系QQ：2870698831。关于数据，目前确实没打算出售主要还是考虑两个方面一个是影响另一个是公开后可能自己又要去找新的绕过方式，如果感兴趣的朋友比较多，价格合适的话我考虑下统一价格出售给需要的朋友。

还有一点关于接单价格，我给自己定了个原则目前低于200的不做，有些功能可能就几行十几行代码，还希望能理解。200算是一个小小的门槛吧，我不太希望技术变得太过廉价。

" y9 b' W4 n2 c! z# A

妖妖

应为这里做采集数据的基本没人... 国外不像国内...
9 h) P. `+ \- R- V9 a国内开发的几千上万的工具，即使泛解析等到了国外也就只能折腾一阵子就全部阵亡。
即使打乱数据，混合数据，混合几个站的数据粘合，混合社交，视频，文章，产品的数据粘合成一篇文章，到了国外，也活不了多久。。
! c/ Z9 n+ ^9 L1 e+ ]! _（当然也会有成功的，不过都在偷偷的做。分享出来害死自己没有傻子会这么做）
& L$ G- E/ S2 o# w6 i, ^' T
* a5 F1 D! ]9 m3 V4 o# ?0 P# I都做的是原创内容..都是国外买文章...做的是长久的，不是国内这种短视的。
或者做的就是付费流量....

妖妖

我瞎说的。。勿理。。。

hengz

妖妖 发表于 2016-10-16 22:48
我瞎说的。。勿理。。。

* J) Q/ W$ d# ^: l, @- x明白人

大B哥

百度的抓取源码我倒是有，谢谢楼主提醒，业余程序员一个。跪求反爬虫代码

wintop

反爬虫很简单，多ip就可以解决，推荐xx-net

大B哥

wintop 发表于 2016-10-18 09:04
反爬虫很简单，多ip就可以解决，推荐xx-net

! _& V0 v. s0 R/ w! _) I0 F* P. ^" j+ f我的哥谢谢，刚搜了一下。好吊

wonday

又一位技术牛人

reapusd

现在用的比较多的是115吧，会员费还贼贵，你懂的

sofeng

这个方根就是思路。有思路，什么都能。国外，DMCA

displaysonline

源码厉害！！

xz4062006

源码屌，下载过来看看，谢谢分享