|
本帖最后由 finder 于 2014-12-28 15:24 编辑
/ B; _" q7 [+ H8 G1 i+ \
* h* C0 c$ [4 b1 ` 以前自己写过一个采集阿里巴巴商家email,电话,公司名称和职位的一个爬虫程序。感觉这个邮件采集程序的原理和我原来采用的一样,都是采用多线程,发起httpget请求,对返回结果用正则表达式匹配href,和自己需要找的邮件,电话啥的。然后再以这个href List为基础继续发起http get请求,如此,循环。则可以爬遍整个互联网。这是小弟自己的看法,望大神多多指点!
$ d* u# I' l( e- a! B
1 N: A2 t" T* H email_spider是使用比较多的一个邮箱采集程序。官方网址是:- http://email.spider.gsa-online.de/
复制代码 目前程序最新版本是V7.00.9 O; F1 }6 N( q
程序的功能包括:
1 _7 }+ {8 H' Z) v) B•从起始网站提取电子邮件, ?1 n9 [3 B' H
•除了电子邮件采集,电话和传真号码,您可以搜索" W, {& A' J! L" y& m' L
•自动化发送电子邮件到您的新客户1 x1 |! p- d( m9 y0 {3 I
•收获电子邮件与搜索引擎的帮助下(300+包括)
3 W) ^: A' v1 ^( _1 |•支持HTTPS网站
6 K# x4 `) }) m( `2 g! x•支持SSL唯一的电子邮件服务提供商(如谷歌邮件)& f5 P! B0 n$ p0 r2 l) M% A9 R9 W
•内部SNMP服务器直接发送电子邮件& _" G% \% {9 r: u& S
•JavaScript的分析,找出保护的电子邮件地址
+ a8 T, h" V6 e0 T* P$ T保护•反蜘蛛引擎(例如随机用户代理)5 M& c% R4 y D
•收集电子邮件,它们的附加数据(如地址)$ t: R Y" ~6 C* B
•许多过滤器只能提取你想要的电子邮件
0 f, c0 u1 d$ h6 N7 p•非常快的处理(100个线程,你可以很容易地提取500个新邮件一分钟)8 P" j) Q- d; D, _1 g5 l4 u1 d
•多语言支持(现在的英语和德语)
3 H/ x A1 p9 G8 J* R. h# v3 ^0 g9 q1 u$ _4 g. p
' U! }7 B* j$ E1 R8 q2 W# r 这次分享的 email_spider是V5.3的crack版本,也几乎包含了上边所有的功能,可以从指定网址开始收集,也可以输入关键字收集,我在虚拟机中跑了一天,收集了大量的email。我用的虚拟机的配置是521M内存的,如果分配的大,可能获取的更多。如果想要收集更多,可以在多台vps上跑。4 r+ s" Q! T9 {
0 b, ~: O+ t4 n# o9 ^8 l
% ~5 K3 {3 q* u 程序跑起来比较稳定:+ B# W# c+ i, Y# v, A9 i
D+ ]6 D% ~0 @
% o6 m4 q# y7 m% o* t, J
程序安装步骤:0 H* Y" |1 L' N
1) 添加如下内容到hots文件中% O7 S+ V9 P% G1 _; N
" P$ ]1 Z# n3 R7 C% B) ^127.0.0.1 www.findsoftware.eu: w( t( W4 V4 }, ]
127.0.0.1 findsoftware.eu
4 Q% D' j2 g% o, ] |* U127.0.0.1 www.rostock-schwarz.de; D7 v$ _* f# [# v/ A/ p
127.0.0.1 rostock-schwarz.de
' i+ a* m! w$ k) m127.0.0.1 www.gsa-online.de+ d% |. F2 A. y' }6 i- I6 n
127.0.0.1 gsa-online.de
, i$ `, s5 q9 ] v* Q9 W) ?1 Q2 \, L$ j( j
+ p4 {- e- G! N2)执行 email_spider.exe* u$ ?/ a- G% _" n& T
4 A1 ` J' V8 A( }/ ]$ B, }- w7 K0 O
3) 要求注册时,输入用户名和密码。" o: ^' R7 L5 B# c
) D( [1 Q! Q) S7 U9 c) K, WYour license name is: MKDEV TEAM
& H- h8 h1 t XYour license code is: L1E1-1437-I93N-L1KL& t" S, ?: h- @8 d
y/ j1 ^- h* ^$ `
! X5 }7 I- t# U, j1 ^ @1 |另外附一个收集来的emailList.见附件。# y; Z; R @. ^7 a: Z' N+ W5 t1 Z: e
程序下载地址:- http://pan.baidu.com/share/link?shareid=4049923560&uk=3825420230
复制代码 另:小弟想学论坛里其它东西,而苦于广告币严重步骤。如果各位坛友,觉得小弟发布的东西对你有用,就请多多评分,多多加广告币吧。小弟学到东西定会继续分享,提前谢谢诸位了。9 K% w3 a1 o* ]# K6 g) z
( k( I3 e2 O) t/ X
: G0 g, U7 _9 q0 f5 o+ A% [0 X |
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
x
评分
-
查看全部评分
|