本帖最后由 cdwyd 于 2016-10-16 22:38 编辑 % z3 i) i, Y$ y8 }9 l- Y! { & v8 P2 Z5 G/ u/ V8 D0 c! x 可能这边的朋友不太需要这些东西，就当作是一点技术分享吧。) a E! e. w/ G. }4 _: L& V & O% v, N1 y, y5 _& _! T/ t" j http://www.advertcn.com/thread-34901-1-1.html ），说是打算接一些爬虫抓取类的单子，从论坛（发了两个论坛）来了不少朋友加好友，有些朋友对数据感兴趣，不过采集的数据不太适合公开，所以把思路和部分源码分享下吧。欢迎大家私信或者QQ方式进行技术交流或者合作。' z. I) R, n6 F. {$ n0 e/ H ) e& S" z0 A# @ F9 ]8 ] ## 豆瓣电影& O x: O! M1 ^" k( w& { . z: q9 P: C, _( O a $ S( c+ v4 ^4 a- g 因为豆瓣电影有api，所有采集豆瓣最方便的方式还是先获取id。豆瓣的电影、图书等id。获取到id后直接调用api抓取就行。豆瓣api有限制，可以使用拨号或者大量代理。& o, J4 `' y7 ]- _7 t. a 1 K8 O" w+ }# @ ## 百度网盘; i! e8 c; c2 v2 L , w. `+ I z6 v: h+ }) w4 { 8 ?+ f9 R n. f/ D% F' Q0 V! T , n) u5 T1 d. N" G) r! ]! o u ### UK获取的方式：, M$ w, X: T. q( w* p! Y 1. 循环抓取用户的粉丝还有用的订阅7 l6 p# ?5 e+ d( r : _) u) H6 L V+ F% l% {# u . f) y( P" D, ]+ V5 X" s 2 r- e/ l, y' I) _" {7 c 1 }2 Z+ x$ ]% m" ?& X0 X ### 失效链接检测! h5 C/ X) i; ^; U% t 1 @" z2 B1 C! e3 M6 B) e; m" h$ m . T+ S7 [6 f1 `0 s9 c7 @ 9 H7 ]- ^: g) w6 P) ~2 ^ 除了限制IP抓取频率外，百度还对同一个UK的最大抓取有限制，超过限制后会随机返回数据。/ t' e7 f5 }( ^! t 9 Z9 v' c0 w" y0 [5 {- q 9 }- z! V( C3 P3 `' J+ D, J' \' C 豆瓣的源码附件中就有，百度的就不发了，主要原因是里面涉及一点百度反爬虫的东西，一旦公开估计很快就会被封。另外豆瓣的抓取源码是最初可用版本，重构后的那一份找不着了。。。写的比较随意，所以见笑见笑。% I+ Z* v. w Z/ V! } * j- k+ P) @7 P: t6 A: ]0 `2 R # Q% ?# g9 N! Y; y2 O) | 7 \- P/ [" h& z' [( H; q + \) `1 N2 W2 g * \9 `' N/ C( J3 ~1 u 还有一点关于接单价格，我给自己定了个原则目前低于200的不做，有些功能可能就几行十几行代码，还希望能理解。200算是一个小小的门槛吧，我不太希望技术变得太过廉价。 ]0 Z7 y! S: e+ P) ? $ ~+ J1 N/ |3 k
本帖子中包含更多资源 您需要 登录 才可以下载或查看，没有账号？立即注册
x
相关帖子
发表于 2016-10-16 22:34:21
发表于 2016-10-16 22:39:47
发表于 2016-10-17 08:52:24
发表于 2017-7-18 08:52:47