|
本帖最后由 finder 于 2014-12-28 15:24 编辑 , b- C- m* r4 f$ P1 Y
* H/ x% S( Y) D8 S 以前自己写过一个采集阿里巴巴商家email,电话,公司名称和职位的一个爬虫程序。感觉这个邮件采集程序的原理和我原来采用的一样,都是采用多线程,发起httpget请求,对返回结果用正则表达式匹配href,和自己需要找的邮件,电话啥的。然后再以这个href List为基础继续发起http get请求,如此,循环。则可以爬遍整个互联网。这是小弟自己的看法,望大神多多指点!# t0 l7 k, n6 S3 b( n2 a
* z" C2 R% k; t. K email_spider是使用比较多的一个邮箱采集程序。官方网址是:- http://email.spider.gsa-online.de/
复制代码 目前程序最新版本是V7.00." e# C" \+ K, t* ^# y1 J, U
程序的功能包括:
, ~$ f( Z3 S" W8 j•从起始网站提取电子邮件
; Z5 q2 s# ?9 h- L; d' ?6 A•除了电子邮件采集,电话和传真号码,您可以搜索3 H: [( X% x- j& `
•自动化发送电子邮件到您的新客户
+ [/ g- e3 ~* Q% \7 s. p2 ~•收获电子邮件与搜索引擎的帮助下(300+包括)
+ ?! r7 ^2 x, V" @6 k# j6 u( l. U•支持HTTPS网站& i+ u5 o* Y$ W# L A# x+ P: K! C$ @
•支持SSL唯一的电子邮件服务提供商(如谷歌邮件)# ]$ r8 q( G* ^) E
•内部SNMP服务器直接发送电子邮件1 i6 q* k0 J& w; K) h9 j1 k/ y5 o
•JavaScript的分析,找出保护的电子邮件地址
6 G3 w5 X2 ?0 g" @& |& I5 W保护•反蜘蛛引擎(例如随机用户代理)8 T! Y( t# O0 m9 g
•收集电子邮件,它们的附加数据(如地址); I0 J$ Y8 q6 x' F F5 e8 G$ ?4 j
•许多过滤器只能提取你想要的电子邮件8 e( {8 r+ `" p! z8 v5 T6 d8 b
•非常快的处理(100个线程,你可以很容易地提取500个新邮件一分钟)
( o6 o8 D* ?" X9 U, l•多语言支持(现在的英语和德语)7 c. ~$ ~2 }& P+ D
! J6 z; b2 U* J9 s1 f2 K
( Z+ }9 @3 p5 M( L 这次分享的 email_spider是V5.3的crack版本,也几乎包含了上边所有的功能,可以从指定网址开始收集,也可以输入关键字收集,我在虚拟机中跑了一天,收集了大量的email。我用的虚拟机的配置是521M内存的,如果分配的大,可能获取的更多。如果想要收集更多,可以在多台vps上跑。
' }' j. O- X; M0 X) Z3 z4 Z. e9 v6 a# o7 T6 @; y+ H' q
9 o; b9 ?$ y) g2 z5 n6 u 程序跑起来比较稳定:6 E, P1 h% e; M6 S b2 f
/ b A$ @6 H- A5 Q: d' @
; y, E( p& X' e 程序安装步骤:5 v I+ u) v1 z1 v( P" K# _, l2 d
1) 添加如下内容到hots文件中, m6 {, r9 R2 M9 d9 A" a& X: a" W
% Q# X9 z* K- t" T8 o6 T8 F
127.0.0.1 www.findsoftware.eu
4 }9 B0 @1 b8 C7 l127.0.0.1 findsoftware.eu
* Q+ { W* `$ D127.0.0.1 www.rostock-schwarz.de& e. {' S$ b( ^0 P: A' ?
127.0.0.1 rostock-schwarz.de7 o( d; O" y5 w, z, F- w+ U% H
127.0.0.1 www.gsa-online.de8 p- H6 X5 ]* f4 O4 n8 p
127.0.0.1 gsa-online.de
0 X6 z1 M! Z: v! h* N/ h! Y
/ ^- g5 \/ z3 B" Y8 M* ?
; s7 J! }& s, U0 m4 @/ E2)执行 email_spider.exe
) p1 [" a, F* j T9 D
! x" C- O m5 O" ` F6 t, ]
, q$ W4 l1 K' n* S' ~3) 要求注册时,输入用户名和密码。
9 R' c) X e q% A1 ^- ^3 l/ p; I6 H+ q% o$ @+ |* t0 w
Your license name is: MKDEV TEAM
@/ o- x" }8 _Your license code is: L1E1-1437-I93N-L1KL
4 H8 B( S( G" U Y! c) U
$ I7 d% o7 K( r: s+ A+ ]; J# [, b6 i& V s j4 k
另外附一个收集来的emailList.见附件。0 Q% H* L2 h* a G& n
程序下载地址:- http://pan.baidu.com/share/link?shareid=4049923560&uk=3825420230
复制代码 另:小弟想学论坛里其它东西,而苦于广告币严重步骤。如果各位坛友,觉得小弟发布的东西对你有用,就请多多评分,多多加广告币吧。小弟学到东西定会继续分享,提前谢谢诸位了。5 \, |* f1 X1 j7 c. e! F$ }9 {9 Z
: L9 C8 H, {' E( k+ _( h9 q( ~# y
1 M7 a9 `3 b3 S) K7 m
|
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
x
评分
-
查看全部评分
|