|
|
本帖最后由 finder 于 2014-12-28 15:24 编辑 - Q( X" S3 R) @- j7 l
2 d' Q& Q3 e! I* e" _' m 以前自己写过一个采集阿里巴巴商家email，电话，公司名称和职位的一个爬虫程序。感觉这个邮件采集程序的原理和我原来采用的一样，都是采用多线程，发起httpget请求，对返回结果用正则表达式匹配href，和自己需要找的邮件，电话啥的。然后再以这个href List为基础继续发起http get请求，如此，循环。则可以爬遍整个互联网。这是小弟自己的看法，望大神多多指点！
& [7 v: k! p0 D6 {
1 g) W* Z3 o/ ~$ Z8 }5 X2 l& p- R email_spider是使用比较多的一个邮箱采集程序。官方网址是：- http://email.spider.gsa-online.de/
2 d3 C# v# f. Q+ y5 C; A2 X 程序的功能包括：6 ?, N* ]- x- |0 Q$ z
•从起始网站提取电子邮件
# A2 L8 J2 O2 M•除了电子邮件采集，电话和传真号码，您可以搜索7 Z# X. R% G/ F
•自动化发送电子邮件到您的新客户6 Q, e4 @& Q" y. J2 m& r3 e
•收获电子邮件与搜索引擎的帮助下（300+包括）' g! _3 `3 v) }9 D! m5 w. z' `" A
•支持HTTPS网站
" L4 P+ `2 p; R7 o. L2 O•支持SSL唯一的电子邮件服务提供商（如谷歌邮件）& J' k; v$ Q& D) N4 W! m
•内部SNMP服务器直接发送电子邮件
- m& Y! ~! S+ |) b0 W! v7 c" o•JavaScript的分析，找出保护的电子邮件地址( _- e" F1 }; N1 `9 Y
保护•反蜘蛛引擎（例如随机用户代理）
' ^. C& N; a& \9 {( L2 E•收集电子邮件，它们的附加数据（如地址）
* g$ T! p0 o, w n' L4 \# Y•许多过滤器只能提取你想要的电子邮件( h& z0 T2 {+ K8 m
•非常快的处理（100个线程，你可以很容易地提取500个新邮件一分钟）- ~4 u" T' ^5 Z6 O
•多语言支持（现在的英语和德语）8 D4 }. g9 L, g( K
5 j8 Q; ~' Z) U0 n) @$ q3 b/ t+ v! T0 A& j: ~
这次分享的 email_spider是V5.3的crack版本，也几乎包含了上边所有的功能，可以从指定网址开始收集，也可以输入关键字收集，我在虚拟机中跑了一天，收集了大量的email。我用的虚拟机的配置是521M内存的，如果分配的大，可能获取的更多。如果想要收集更多，可以在多台vps上跑。4 q9 a' v8 l" y" e$ p" r
9 x# P7 H5 U7 l8 g9 W, g, z# u- ?- q. u
程序跑起来比较稳定：
! ]- }. f4 V8 |! b4 K4 x% ` % W' ~. @. q. k) _4 A
& }1 ~; j4 C9 R1 ~2 v F 程序安装步骤：
4 b B/ m% {+ B+ h/ U. A) X9 w9 ~1) 添加如下内容到hots文件中
) q7 v2 S& H( B8 M1 {/ b* B4 y0 G" y& \0 R8 x9 G+ y
127.0.0.1 www.findsoftware.eu1 U1 d9 ^% ~5 U5 o" l
127.0.0.1 findsoftware.eu
7 F% m: n9 @% \- u! Y5 L8 e127.0.0.1 www.rostock-schwarz.de* X1 L; ~* b# _! M. Y6 B
127.0.0.1 rostock-schwarz.de9 x6 B( ^- l# }9 c3 ^0 j) n" f
127.0.0.1 www.gsa-online.de+ F: R8 [2 z2 c( A
127.0.0.1 gsa-online.de
4 r/ a, x( d5 [9 o+ r1 ?9 o6 D! N+ S: w5 [6 c8 `" X: [8 {
3 C |$ Q7 Q/ G9 Z3 B+ g2)执行 email_spider.exe
# V' {2 O0 \- O- k6 w* j1 ~: o8 o+ i& X4 U1 N! _4 f1 Y9 t9 x
* S5 |+ r) v, X, s/ f1 J
3) 要求注册时，输入用户名和密码。6 r1 i) A' x4 ? ~: d' b
# f1 q; n+ k+ z2 T
Your license name is: MKDEV TEAM+ H$ I) v* ~. ^3 E, H
Your license code is: L1E1-1437-I93N-L1KL
$ h1 Q2 W" b$ J( W
- y' I9 V/ J7 L- \! |, Y+ ], R7 P( J8 [$ O& n1 }# O/ ]1 _
另外附一个收集来的emailList.见附件。
/ m, _# I4 z3 |/ ]" w7 w程序下载地址：- http://pan.baidu.com/share/link?shareid=4049923560&uk=3825420230
. e4 R3 b! q' M7 W
/ J! A5 l% s' T* t% E6 z( A; I5 z4 u7 ]8 F n) m+ P+ R
|
本帖子中包含更多资源
您需要 登录 才可以下载或查看，没有账号？立即注册
x
评分
-
查看全部评分
|
发表于 2013-8-22 09:49:57
发表于 2013-8-22 10:01:37
楼主
,why do say like this?
发表于 2013-8-22 10:10:51
发表于 2016-3-10 10:18:36