|
|
本帖最后由 finder 于 2014-12-28 15:24 编辑 6 G8 U7 ]& s, }
" m R3 U+ w/ [7 e. x- y! @; y
以前自己写过一个采集阿里巴巴商家email，电话，公司名称和职位的一个爬虫程序。感觉这个邮件采集程序的原理和我原来采用的一样，都是采用多线程，发起httpget请求，对返回结果用正则表达式匹配href，和自己需要找的邮件，电话啥的。然后再以这个href List为基础继续发起http get请求，如此，循环。则可以爬遍整个互联网。这是小弟自己的看法，望大神多多指点！
& D) x& S' `2 m0 o) a7 q
( ?3 u6 w: L3 v' a email_spider是使用比较多的一个邮箱采集程序。官方网址是：- http://email.spider.gsa-online.de/
程序的功能包括：
9 Q! P% [$ M* l% \•从起始网站提取电子邮件* c2 n% a' s; `& Z' s/ m9 Q. O
•除了电子邮件采集，电话和传真号码，您可以搜索5 o! d o8 I3 i% J9 u- L
•自动化发送电子邮件到您的新客户" H- S/ w, J; w$ X2 H8 Z% Z* ~4 \
•收获电子邮件与搜索引擎的帮助下（300+包括）
c) A7 h4 M. ]! G1 L1 C* D+ E1 }•支持HTTPS网站
) S# h# v# g7 Z: |: n5 M•支持SSL唯一的电子邮件服务提供商（如谷歌邮件）! `9 Q5 f# W$ `" v7 q
•内部SNMP服务器直接发送电子邮件
% I# C: J/ E6 u- B: A7 j. _•JavaScript的分析，找出保护的电子邮件地址
4 j9 S8 B2 u; M8 X. s9 a保护•反蜘蛛引擎（例如随机用户代理）
) C. b n. n0 w1 {•收集电子邮件，它们的附加数据（如地址）$ l& [* v2 T- n' Q. U
•许多过滤器只能提取你想要的电子邮件
& y1 v9 N) {$ z•非常快的处理（100个线程，你可以很容易地提取500个新邮件一分钟）% N& ~# h! J3 p7 A6 O. L/ H
•多语言支持（现在的英语和德语）
+ C& \1 o% W% e. u; o7 Z( u
A" z8 L& k4 u2 N
; d0 @* t+ f& N" w$ q 这次分享的 email_spider是V5.3的crack版本，也几乎包含了上边所有的功能，可以从指定网址开始收集，也可以输入关键字收集，我在虚拟机中跑了一天，收集了大量的email。我用的虚拟机的配置是521M内存的，如果分配的大，可能获取的更多。如果想要收集更多，可以在多台vps上跑。
! {! O* ?: b! j% @7 s3 H1 ]& P6 F5 R* g4 M; N. a1 U% A
1 P* r0 T. M+ E. M+ o 程序跑起来比较稳定：
. n5 x# n% [0 X- C
4 c" a7 l' _ E/ O& B( H5 P) O' I% z% Y
程序安装步骤：* R0 F: ^ F& ^/ n
1) 添加如下内容到hots文件中
' x" V$ `: j& @" ]" B
: }/ w2 }" E: l5 j' m/ X3 |3 E4 q127.0.0.1 www.findsoftware.eu+ U: H( ~- o2 \. G; E
127.0.0.1 findsoftware.eu
. C5 j( X% N2 g1 k127.0.0.1 www.rostock-schwarz.de6 T/ e& ~; _( g; l) W g# m
127.0.0.1 rostock-schwarz.de
B9 @: d. G& L7 V+ e127.0.0.1 www.gsa-online.de/ V! `0 p1 d$ j' O" G& {; B1 z! }* G( q
127.0.0.1 gsa-online.de
/ I1 {1 x& ?0 `. J6 K, X( o. `& m
: E& e" _! p2 s& B" O0 [
2)执行 email_spider.exe
" y" {; B- [2 p$ q5 k% I; T# H; _: G) A( F: Y1 x
' o& A5 N% }1 \, g" j* k& g3) 要求注册时，输入用户名和密码。- ?: d" E8 J' c+ C
% O$ k6 ^+ f1 j% HYour license name is: MKDEV TEAM8 b! H& y8 H& S
Your license code is: L1E1-1437-I93N-L1KL
# e" j- D8 L5 I+ ?$ \8 g" s0 S
$ g+ d' h6 P& q! E' O# L8 J, z+ C- J$ ]2 Z8 {) I/ t# \1 V) Q
另外附一个收集来的emailList.见附件。% p9 V0 h' h3 L6 O% J4 X
程序下载地址：- http://pan.baidu.com/share/link?shareid=4049923560&uk=3825420230
0 [5 r, {! t' F8 j8 p
' N- Y5 n3 B4 y K5 ], [( o
6 n, s& x$ E m |
本帖子中包含更多资源
您需要 登录 才可以下载或查看，没有账号？立即注册
x
评分
-
查看全部评分
|
发表于 2013-8-22 09:49:57
发表于 2013-8-22 10:01:37
楼主
,why do say like this?
发表于 2013-8-22 10:10:51
发表于 2016-3-10 10:18:36