|
|
本帖最后由 finder 于 2014-12-28 15:24 编辑
( h6 T, { q/ I! G
. U$ _$ y# M7 t9 Y* c 以前自己写过一个采集阿里巴巴商家email，电话，公司名称和职位的一个爬虫程序。感觉这个邮件采集程序的原理和我原来采用的一样，都是采用多线程，发起httpget请求，对返回结果用正则表达式匹配href，和自己需要找的邮件，电话啥的。然后再以这个href List为基础继续发起http get请求，如此，循环。则可以爬遍整个互联网。这是小弟自己的看法，望大神多多指点！5 M: N* b4 e' D) I) _% z
4 n; z5 F* p, _ F5 ] email_spider是使用比较多的一个邮箱采集程序。官方网址是：- http://email.spider.gsa-online.de/
" F: G: J' }1 e 程序的功能包括：
$ X/ H6 R1 V0 z6 k•从起始网站提取电子邮件- m; q( B, u- T" O; ^4 K4 [2 L y
•除了电子邮件采集，电话和传真号码，您可以搜索
. n2 @" A8 N+ |! o o•自动化发送电子邮件到您的新客户
: K0 Z& A- b$ ?8 }4 x, `! s- t3 [/ @•收获电子邮件与搜索引擎的帮助下（300+包括）
2 p" E. m" O# ^1 m7 h$ C5 `, s•支持HTTPS网站! k$ n. P) }+ j9 ]; j# ]1 n
•支持SSL唯一的电子邮件服务提供商（如谷歌邮件）
2 L; X2 e) Q ^; O•内部SNMP服务器直接发送电子邮件
7 S1 |0 T6 l+ g+ ^( S9 u! O, n# e•JavaScript的分析，找出保护的电子邮件地址
' o" t& c/ p( P+ t9 M( Z: R# J保护•反蜘蛛引擎（例如随机用户代理）
* }$ |% T+ k4 M% ]& J( ]•收集电子邮件，它们的附加数据（如地址）# N0 k' i. i6 ~' {
•许多过滤器只能提取你想要的电子邮件
6 t8 V5 ^" I; v•非常快的处理（100个线程，你可以很容易地提取500个新邮件一分钟）
* _& Y+ f+ X: W. @•多语言支持（现在的英语和德语）1 I$ a( P! S9 t: W
y- B- H8 z1 ]' a5 R
" r) i3 ]4 E2 S. _5 m/ Z" u- _
这次分享的 email_spider是V5.3的crack版本，也几乎包含了上边所有的功能，可以从指定网址开始收集，也可以输入关键字收集，我在虚拟机中跑了一天，收集了大量的email。我用的虚拟机的配置是521M内存的，如果分配的大，可能获取的更多。如果想要收集更多，可以在多台vps上跑。! Y5 x0 N _' e }1 V
Q' I: A5 o+ a1 l3 h7 s
7 Z7 \6 t; s! Y4 ?/ B3 N1 K2 r 程序跑起来比较稳定：/ S2 X6 `3 Z6 H1 M% J7 \# m
& M! n% `; U# ?4 l5 _+ t9 Q! c8 N+ E0 z
程序安装步骤：4 W- R. E4 V, g% B- v4 ~1 z8 y
1) 添加如下内容到hots文件中3 P) c" z8 ?7 }+ T4 Z/ K4 S
5 H4 \% A" R u; ~% e R
127.0.0.1 www.findsoftware.eu
% V3 Y( V# \2 t3 U127.0.0.1 findsoftware.eu1 i) p8 v# H5 |$ J3 O5 X
127.0.0.1 www.rostock-schwarz.de& f3 G. G* r, p
127.0.0.1 rostock-schwarz.de
# _. E! D! }. @* O127.0.0.1 www.gsa-online.de
/ }* h9 `. `1 b' w9 j9 m127.0.0.1 gsa-online.de) S" F/ [" l# [0 ~; I- p k2 C
8 M: j$ G( B$ ?, y1 A% H+ n% b% M
! o C. h2 U3 B! q# ~9 b/ J2)执行 email_spider.exe
$ b0 t5 u, f& v# g/ Q. q7 F. H5 h) j, g
/ ^- l. f9 z8 J9 l1 q- P
3) 要求注册时，输入用户名和密码。' L) ~& L+ `3 t8 K( v
0 j0 [: y# s* WYour license name is: MKDEV TEAM
8 C$ A; C* h8 C1 z( RYour license code is: L1E1-1437-I93N-L1KL
# \ L- v# a7 u9 z7 K& A. H* n1 l) h4 ? q) ]6 K) g; @) y5 i
. }: L% T) {1 u P0 p# g另外附一个收集来的emailList.见附件。. y U `% L7 q: h; t1 J
程序下载地址：- http://pan.baidu.com/share/link?shareid=4049923560&uk=3825420230
& f- E. r8 ?* e" d
; h) E9 T: r) k; l' q* _3 N z' P9 K4 K- k; v$ g
|
本帖子中包含更多资源
您需要 登录 才可以下载或查看，没有账号？立即注册
×
评分
-
查看全部评分
|
发表于 2013-8-22 09:49:57
发表于 2013-8-22 10:01:37
,why do say like this?
发表于 2013-8-22 10:10:51
发表于 2016-3-10 10:18:36