|
|
本帖最后由 finder 于 2014-12-28 15:24 编辑 % b% u. u* S0 V8 E; E, P6 |
/ d/ b& U, ^! n6 q9 r: c' z
以前自己写过一个采集阿里巴巴商家email，电话，公司名称和职位的一个爬虫程序。感觉这个邮件采集程序的原理和我原来采用的一样，都是采用多线程，发起httpget请求，对返回结果用正则表达式匹配href，和自己需要找的邮件，电话啥的。然后再以这个href List为基础继续发起http get请求，如此，循环。则可以爬遍整个互联网。这是小弟自己的看法，望大神多多指点！
* O: q# N8 R' p. @" v& o! ?& e/ X H5 D( `6 }! u
email_spider是使用比较多的一个邮箱采集程序。官方网址是：- http://email.spider.gsa-online.de/
程序的功能包括：
. ?+ I L! t0 ~6 g•从起始网站提取电子邮件
# x, ~! _" x3 V/ |! h•除了电子邮件采集，电话和传真号码，您可以搜索
; P' u- I& a! g1 l5 ]# p% [3 k•自动化发送电子邮件到您的新客户3 l" y4 z+ b) ~
•收获电子邮件与搜索引擎的帮助下（300+包括）$ ~6 e& h$ @' r
•支持HTTPS网站. y1 a$ z }1 e; T% Y6 ^
•支持SSL唯一的电子邮件服务提供商（如谷歌邮件）; G3 J; C3 z. C' _ |; G
•内部SNMP服务器直接发送电子邮件
1 H2 f6 P# l: m% s; y•JavaScript的分析，找出保护的电子邮件地址
" F0 x4 C1 D# G" H/ J保护•反蜘蛛引擎（例如随机用户代理）
: L' X/ {. c8 e* W3 D6 h•收集电子邮件，它们的附加数据（如地址）
) G2 k7 h* u3 u•许多过滤器只能提取你想要的电子邮件
& f8 }4 \4 o2 _3 a$ i- m9 S•非常快的处理（100个线程，你可以很容易地提取500个新邮件一分钟）) O+ R- Z8 _) F" p$ f5 w
•多语言支持（现在的英语和德语）
) w. v3 w. A* j
) c' ?7 `; v" |2 } A2 u9 W& U* R6 ~ i$ C% R- E
这次分享的 email_spider是V5.3的crack版本，也几乎包含了上边所有的功能，可以从指定网址开始收集，也可以输入关键字收集，我在虚拟机中跑了一天，收集了大量的email。我用的虚拟机的配置是521M内存的，如果分配的大，可能获取的更多。如果想要收集更多，可以在多台vps上跑。
: Z$ |9 l! n7 O( L5 O9 ~2 q2 _- H
. A6 U' x$ H$ c1 u5 C4 M
程序跑起来比较稳定：/ W5 }' O+ o d8 H8 T, g
" n! x/ W: f& i8 R
; M' R- _7 K9 z& b. g) r" } 程序安装步骤：! y4 U, U& `7 e0 q4 p
1) 添加如下内容到hots文件中
- z5 c( R4 @1 v! ?0 T; P) w
( ~/ }! p" X0 }127.0.0.1 www.findsoftware.eu* M+ W$ F+ Y6 Q4 x
127.0.0.1 findsoftware.eu
4 g' N _6 h9 E3 b+ P2 S& \127.0.0.1 www.rostock-schwarz.de
; Y- P$ z; C( S b% I3 c# D127.0.0.1 rostock-schwarz.de2 P+ u. n7 d+ Z2 g8 e) z; o2 T
127.0.0.1 www.gsa-online.de9 z/ |4 ]. V) W0 U" c( b
127.0.0.1 gsa-online.de8 J$ k6 }' ?4 o5 u' T5 Y6 N5 L. C
V4 N8 Y }9 t0 F
8 K/ d: h* M" P7 C2)执行 email_spider.exe) R; M8 b8 d/ \" Y' a
w+ ]7 f3 n% p1 c: O' d! _
$ } u7 l7 w5 Y0 E
3) 要求注册时，输入用户名和密码。
& a' v) D# [( Z( g6 o8 O5 \$ h; f
Your license name is: MKDEV TEAM7 e3 K& Y9 {/ `" K7 o
Your license code is: L1E1-1437-I93N-L1KL1 m, W9 \! W$ W4 Q! s
* Y9 C+ {% M* P* v
4 y. y o7 t. P另外附一个收集来的emailList.见附件。! ?% Z i. d( N p$ X( z
程序下载地址：- http://pan.baidu.com/share/link?shareid=4049923560&uk=3825420230
' T5 {+ F! l s( Q0 r2 I/ d
3 V5 b# \( j4 A9 Z
|
本帖子中包含更多资源
您需要 登录 才可以下载或查看，没有账号？立即注册
×
评分
-
查看全部评分
|
发表于 2013-8-22 09:49:57
发表于 2013-8-22 10:01:37
,why do say like this?
发表于 2013-8-22 10:10:51
发表于 2016-3-10 10:18:36