本帖最后由 cdwyd 于 2016-10-16 22:38 编辑 : e% Z) E1 B! @% I, ]1 e4 [$ \ + i! X' h& w2 k- I4 G ' }2 P% k" b8 a% s' G9 F & x F Y. d* d5 m |: b4 ?6 P, L 昨天发了一个帖子（http://www.advertcn.com/thread-34901-1-1.html ），说是打算接一些爬虫抓取类的单子，从论坛（发了两个论坛）来了不少朋友加好友，有些朋友对数据感兴趣，不过采集的数据不太适合公开，所以把思路和部分源码分享下吧。欢迎大家私信或者QQ方式进行技术交流或者合作。, [" y5 H7 T: ?; V" m $ y! A! T/ C' D5 a ## 豆瓣电影3 H3 _# Z: @3 Y, E; O( N / W$ y2 E7 k. w; e, j- [ % i3 c7 M9 D s 因为豆瓣电影有api，所有采集豆瓣最方便的方式还是先获取id。豆瓣的电影、图书等id。获取到id后直接调用api抓取就行。豆瓣api有限制，可以使用拨号或者大量代理。2 ] y: H: P9 F- O4 u* u6 ` * Q: e8 t/ F+ M; l* p9 o! ~ ## 百度网盘) R0 |+ u: Y2 |0 L- p7 I , m# f, `9 J$ l- `) G/ c- e 百度网盘的主要思路是先获取用户uk，通过uk可以拿到分享列表，然后获取到分享数据。( e8 b9 P, u$ k: ^* N# ]9 [ * G' V5 O4 B+ f ### UK获取的方式：0 G! r! K; U. s w9 J/ ^0 k 6 w2 p) n( y9 ~( r, \+ a4 o ( w& Z! E: p4 F - `: J0 }. ?. ?3 X* P6 b: B5 e4 Z * e& t0 x5 v* W2 m) s+ a , ~& N3 N! w9 X8 z" |2 ] ### 失效链接检测 {/ A8 l0 |- A X 8 L: k$ V! {+ U( j $ k& l8 t+ ~( \1 T ### 百度的反爬虫策略6 k% ~- T. a9 @ 4 M. ] U. L$ ?1 V. |6 R, H9 f : x: ^: `% y5 |4 N2 G8 N$ Y& K K' T; W( g8 B% Z! g: p% m 豆瓣的源码附件中就有，百度的就不发了，主要原因是里面涉及一点百度反爬虫的东西，一旦公开估计很快就会被封。另外豆瓣的抓取源码是最初可用版本，重构后的那一份找不着了。。。写的比较随意，所以见笑见笑。# A2 G+ H1 Y' u# ? : u: [: V! j4 W& e 7 R+ X2 Q3 E. w* g' \' \1 L* a ! g% u ~2 P5 |9 Q8 V , V" a$ x( ~; @( B ) F" f5 _0 S# d2 U4 N 还有一点关于接单价格，我给自己定了个原则目前低于200的不做，有些功能可能就几行十几行代码，还希望能理解。200算是一个小小的门槛吧，我不太希望技术变得太过廉价。* O; W L& @ _1 s7 u* m* V % `; p2 Z) c5 T
本帖子中包含更多资源 您需要 登录 才可以下载或查看，没有账号？立即注册
x
相关帖子
发表于 2016-10-16 22:34:21
发表于 2016-10-16 22:39:47
发表于 2016-10-17 08:52:24
发表于 2017-7-18 08:52:47