|
本帖最后由 finder 于 2014-12-28 15:24 编辑
. F0 S8 X0 X$ ]% x/ \# q8 z; @
+ R3 a" y: _' y# o# F3 e4 @ 以前自己写过一个采集阿里巴巴商家email,电话,公司名称和职位的一个爬虫程序。感觉这个邮件采集程序的原理和我原来采用的一样,都是采用多线程,发起httpget请求,对返回结果用正则表达式匹配href,和自己需要找的邮件,电话啥的。然后再以这个href List为基础继续发起http get请求,如此,循环。则可以爬遍整个互联网。这是小弟自己的看法,望大神多多指点!
7 ]. J+ F7 O8 Z9 I" g3 @% W! R2 B, b$ ^+ O8 d1 W: k* h# L
email_spider是使用比较多的一个邮箱采集程序。官方网址是:- http://email.spider.gsa-online.de/
复制代码 目前程序最新版本是V7.00.- y$ i* y4 w3 X8 | c
程序的功能包括:, L! T3 o* ?5 P8 O' S
•从起始网站提取电子邮件- z6 I. |! n F7 n% [( [. R
•除了电子邮件采集,电话和传真号码,您可以搜索) O. k% j9 {* W8 n+ A
•自动化发送电子邮件到您的新客户
) m+ d; h5 u" g4 s: N; r& C# Q: I•收获电子邮件与搜索引擎的帮助下(300+包括)
& O# ^/ s8 D; e•支持HTTPS网站6 M$ w. N! B8 E% o1 }$ y. M/ W
•支持SSL唯一的电子邮件服务提供商(如谷歌邮件)( \7 v( f* ?4 N0 S9 F) J
•内部SNMP服务器直接发送电子邮件
. t1 ^/ A. e; U% ~•JavaScript的分析,找出保护的电子邮件地址5 F' S. G$ R- z! E# w. m% \2 }+ s
保护•反蜘蛛引擎(例如随机用户代理)
1 n' L+ K. {( p4 ~) k, }( A•收集电子邮件,它们的附加数据(如地址)
) ^/ I. D3 ?) G, D•许多过滤器只能提取你想要的电子邮件( f, E0 v0 Z) p& \
•非常快的处理(100个线程,你可以很容易地提取500个新邮件一分钟)
- F. x0 V2 q$ r" k9 S" X$ z& y4 x•多语言支持(现在的英语和德语)
7 s- l+ z+ l ^$ y+ P- U1 p5 b- T" v& s/ P& O7 ]1 m7 F Z
% M* @; b6 Y, F" [2 B$ m
这次分享的 email_spider是V5.3的crack版本,也几乎包含了上边所有的功能,可以从指定网址开始收集,也可以输入关键字收集,我在虚拟机中跑了一天,收集了大量的email。我用的虚拟机的配置是521M内存的,如果分配的大,可能获取的更多。如果想要收集更多,可以在多台vps上跑。
7 W$ |1 G3 u4 @, V2 v) c2 h& B0 w( L
$ C5 v8 \2 T2 _8 m5 P! d" K2 l4 o# ] c. S. E
程序跑起来比较稳定:
3 A7 F6 T* G. h; f
/ z+ R2 h$ g) g4 o; }0 ^& t& H& V" h$ v- z
程序安装步骤:
5 b2 I; [0 C! C9 {0 I N" W1) 添加如下内容到hots文件中
* w$ w* A. f0 j9 |
+ Y" a% K- Z# C7 R/ [127.0.0.1 www.findsoftware.eu/ i( K+ Z# ~, f: ~( G
127.0.0.1 findsoftware.eu
# e3 {% q1 d# V127.0.0.1 www.rostock-schwarz.de. B9 ~' k. w1 a% d; _
127.0.0.1 rostock-schwarz.de
8 G4 E" A8 c$ E6 E127.0.0.1 www.gsa-online.de4 }! W+ q. O2 Z( e% w
127.0.0.1 gsa-online.de e7 c% i; M- y
1 r" c0 Z7 S% `8 O7 q8 X+ e. h5 g% W
# j: X# A8 n) Z" T
2)执行 email_spider.exe, u% g: `+ r! Q0 m
Y( s% I6 o- g1 S3 c4 S) w/ m
7 G% j; ~' g& z( @9 Z& P9 r, I3) 要求注册时,输入用户名和密码。; a: g! M q6 Y( K; [
7 p/ f1 i& x, m( P3 ], P
Your license name is: MKDEV TEAM
! M7 i* a+ i ~6 f# i2 D* EYour license code is: L1E1-1437-I93N-L1KL
- l8 |. [: u4 d5 l& W6 Q9 J1 u$ H0 I6 k
* e2 a3 z8 P) f, i" k, ?5 J另外附一个收集来的emailList.见附件。
( [' i3 P" ^1 N程序下载地址:- http://pan.baidu.com/share/link?shareid=4049923560&uk=3825420230
复制代码 另:小弟想学论坛里其它东西,而苦于广告币严重步骤。如果各位坛友,觉得小弟发布的东西对你有用,就请多多评分,多多加广告币吧。小弟学到东西定会继续分享,提前谢谢诸位了。
, d# Z" R* w* @# R1 s) n3 D: P' |* @& C
: _: K: L1 G5 \- _2 ` |
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
x
评分
-
查看全部评分
|