|
|
本帖最后由 finder 于 2014-12-28 15:24 编辑
7 P2 M) z5 F5 E& T2 v' g; o0 Y6 \. J% S7 v: ~
以前自己写过一个采集阿里巴巴商家email，电话，公司名称和职位的一个爬虫程序。感觉这个邮件采集程序的原理和我原来采用的一样，都是采用多线程，发起httpget请求，对返回结果用正则表达式匹配href，和自己需要找的邮件，电话啥的。然后再以这个href List为基础继续发起http get请求，如此，循环。则可以爬遍整个互联网。这是小弟自己的看法，望大神多多指点！" C& C( D+ A8 _7 c! `
4 S4 ^& S+ N% c# U
email_spider是使用比较多的一个邮箱采集程序。官方网址是：- http://email.spider.gsa-online.de/
' i) `: r% k' z, a" c 程序的功能包括：
5 e R( K4 S# s9 Q& y+ e1 w* E) K3 ^& ~•从起始网站提取电子邮件
8 ?; X- y; r7 g, _: j" n% C# S•除了电子邮件采集，电话和传真号码，您可以搜索3 T6 A/ d; S2 l! ]9 r- J7 P
•自动化发送电子邮件到您的新客户* I! @# g. B" Z* ~) V2 e
•收获电子邮件与搜索引擎的帮助下（300+包括）, r% S, T0 {- z1 e( V
•支持HTTPS网站
8 o" F+ k' e [0 O! `2 U•支持SSL唯一的电子邮件服务提供商（如谷歌邮件）0 ]! D2 B6 q- w7 y R
•内部SNMP服务器直接发送电子邮件
, k$ Q# \- P# I. U•JavaScript的分析，找出保护的电子邮件地址
& X9 ^& i6 o% p4 D) |% Y保护•反蜘蛛引擎（例如随机用户代理）
' j. |; v |7 d F8 u3 ~$ q•收集电子邮件，它们的附加数据（如地址）, o. a6 \/ n% @1 l- J( v
•许多过滤器只能提取你想要的电子邮件3 b( z% E/ X- C& _: L0 `; Z
•非常快的处理（100个线程，你可以很容易地提取500个新邮件一分钟）3 d6 z+ ^ H& }& B9 `9 w( C
•多语言支持（现在的英语和德语）. a8 {9 ~6 v9 Q1 R8 H& `) \
) {& d2 F% L5 J1 }
# u8 |! m3 y. N" e# d! J
这次分享的 email_spider是V5.3的crack版本，也几乎包含了上边所有的功能，可以从指定网址开始收集，也可以输入关键字收集，我在虚拟机中跑了一天，收集了大量的email。我用的虚拟机的配置是521M内存的，如果分配的大，可能获取的更多。如果想要收集更多，可以在多台vps上跑。
$ w/ M) `( ^0 ~* j3 w; c9 d% V7 S
4 A8 |# M; t7 u
( |" Z: Q! `5 P 程序跑起来比较稳定：8 H* k F; f& p% S [0 b! Y6 q
) O3 `4 {6 X* t3 q& d7 D5 H) w- l; I8 f# R
程序安装步骤：" P/ P, z' b0 w& G: q4 t) W
1) 添加如下内容到hots文件中 w: J+ x U5 x: x! p& m. H& _
% ~ h; _5 m! b( E" w, ~' e% b
127.0.0.1 www.findsoftware.eu
4 H G# \" ?3 U6 W3 J4 F0 H# x S0 C127.0.0.1 findsoftware.eu5 p4 M! S8 r, @/ g4 |0 c& W
127.0.0.1 www.rostock-schwarz.de
/ A7 o9 B* w/ P, @; s# U; ^' T1 w8 M( P c127.0.0.1 rostock-schwarz.de1 D$ S& d7 q5 ^" G5 f# K! |9 i; E
127.0.0.1 www.gsa-online.de' b- K. x6 U6 ?; Y9 h) R& j" q
127.0.0.1 gsa-online.de
" q, e, A% n. k5 [/ q# c* x; h: `
1 M6 C5 K* f2 B: z8 f2 _
2 C' F$ W9 h. ]6 n2)执行 email_spider.exe
) O y* C" f. e, }$ f
) P8 z! i" C8 {5 I8 d1 B8 a* _0 v4 S1 a+ {4 g! t
3) 要求注册时，输入用户名和密码。
1 v5 X3 r7 k$ s
3 r9 E; }6 L7 W6 F0 P: N) [! hYour license name is: MKDEV TEAM4 b: e, E i( z( Q6 ]1 i1 v
Your license code is: L1E1-1437-I93N-L1KL
# g9 q1 _+ x- Q. V/ a
4 g2 |# w. c& u, O+ x- O1 X* I" e7 |, a( v. W3 l
另外附一个收集来的emailList.见附件。
. h) U8 h) K4 C程序下载地址：- http://pan.baidu.com/share/link?shareid=4049923560&uk=3825420230
( a4 l, [' a3 m
4 I' X7 Y3 R/ K- L: b
3 i C, X; A& @& Y' ]* z |
本帖子中包含更多资源
您需要 登录 才可以下载或查看，没有账号？立即注册
x
评分
-
查看全部评分
|
发表于 2013-8-22 09:49:57
发表于 2013-8-22 10:01:37
楼主
,why do say like this?
发表于 2013-8-22 10:10:51
发表于 2016-3-10 10:18:36