本帖最后由 finder 于 2014-12-28 15:24 编辑 9 O6 j: E, k) _/ X8 ~/ d2 m; E
( D; B7 B7 G6 e* Y. i2 s/ h. a 以前自己写过一个采集阿里巴巴商家email,电话,公司名称和职位的一个爬虫程序。感觉这个邮件采集程序的原理和我原来采用的一样,都是采用多线程,发起httpget请求,对返回结果用正则表达式匹配href,和自己需要找的邮件,电话啥的。然后再以这个href List为基础继续发起http get请求,如此,循环。则可以爬遍整个互联网。这是小弟自己的看法,望大神多多指点!
Z& C# h* B. p9 Y2 d3 z( d 1 l) C g2 C9 a" k. }
email_spider是使用比较多的一个邮箱采集程序。官方网址是:http://email.spider.gsa-online.de/ 复制代码 目前程序最新版本是V7.00.
5 u e/ ]: F, Q* r. j Y 程序的功能包括:
U& x$ V( v: G& R. W+ F •从起始网站提取电子邮件
8 t Y& A+ [+ g8 C* ^& D. s •除了电子邮件采集,电话和传真号码,您可以搜索
8 `0 b3 z/ E# o$ C) y' X2 P •自动化发送电子邮件到您的新客户
7 V( y7 T- @4 j •收获电子邮件与搜索引擎的帮助下(300+包括)" K G) U ?$ Y' x1 F" `+ v
•支持HTTPS网站
4 u, H; Q2 |1 ]" i& V" W- L •支持SSL唯一的电子邮件服务提供商(如谷歌邮件)
/ |$ a$ I! l" `+ n( a, A5 o/ l •内部SNMP服务器直接发送电子邮件, K( c, Q* p# G1 `& R4 k
•JavaScript的分析,找出保护的电子邮件地址& Y+ [( I$ t5 b# W- Q! C
保护•反蜘蛛引擎(例如随机用户代理)
3 B: L6 w, D' l4 i7 q2 I$ z •收集电子邮件,它们的附加数据(如地址)
: }1 K" d) ? I8 _( Y3 m0 d+ d% F- c •许多过滤器只能提取你想要的电子邮件1 s8 R: u5 [2 U5 }, J( [7 v5 t! S
•非常快的处理(100个线程,你可以很容易地提取500个新邮件一分钟)
' ~7 p/ \$ c; O •多语言支持(现在的英语和德语)
- c+ K7 ^4 S. g" i - W. u5 S8 Y. l: t" e; n. d
; k" X) r7 G7 ~9 u7 O
这次分享的 email_spider是V5.3的crack版本,也几乎包含了上边所有的功能,可以从指定网址开始收集,也可以输入关键字收集,我在虚拟机中跑了一天,收集了大量的email。我用的虚拟机的配置是521M内存的,如果分配的大,可能获取的更多。如果想要收集更多,可以在多台vps上跑。
/ `1 j: [/ D" W% L4 p) C8 v. ~ ; ^3 z. z1 F2 s* W5 q
+ L) o) d& Z2 s2 W/ Z; r. `' R
程序跑起来比较稳定:
1 s! O: C2 d% T7 C , m. ~7 O2 g: C8 H e
0 Q, P, A, r5 m2 e" C8 Q 程序安装步骤:
, H( U4 t/ q$ N8 m 1) 添加如下内容到hots文件中
8 h$ ?! l2 F3 { k; u! T " G# z/ q9 u" @& R8 a
127.0.0.1 www.findsoftware.eu ! y, a5 q/ V8 Y% B3 _
127.0.0.1 findsoftware.eu
+ b, F) Q! Z! X 127.0.0.1 www.rostock-schwarz.de
8 X- E- N: t/ |) y: n1 Z 127.0.0.1 rostock-schwarz.de
+ v2 {) U3 Q2 y. L9 ^, S 127.0.0.1 www.gsa-online.de
- p9 [6 @6 H; a" H 127.0.0.1 gsa-online.de
8 ^0 A; N/ f8 _( l
, H, O7 `: g: N) I8 K% w+ ]
" x% \; R* E. r9 i3 X 2)执行 email_spider.exe, z- j+ T0 u) ~# D: [
3 }5 _* l8 c# y) n E5 q ) H, ]& N. f, t0 D3 |. J; I
3) 要求注册时,输入用户名和密码。
! @8 ~% L4 H, n) Q4 @+ Y 8 V* Q- {0 \# B2 f
Your license name is: MKDEV TEAM4 u. r, X4 z _6 b) m
Your license code is: L1E1-1437-I93N-L1KL) a3 X. F8 i" l# C1 O( q- W U% F2 l
, i* W. a1 r |9 g" U
2 u! [: P, k' M5 X& |9 b. b/ r+ J) k# I
另外附一个收集来的emailList.见附件。* x# y9 f* \* d7 h+ \# s
程序下载地址:http://pan.baidu.com/share/link?shareid=4049923560&uk=3825420230 复制代码 另:小弟想学论坛里其它东西,而苦于广告币严重步骤。如果各位坛友,觉得小弟发布的东西对你有用,就请多多评分,多多加广告币吧 。小弟学到东西定会继续分享,提前谢谢诸位了。
+ U# C# f5 H, q1 _9 u
: K& p k4 j2 h5 C$ S
- l/ j0 a. c- c; T+ e
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
x
评分
查看全部评分
相关帖子