|
|
本帖最后由 finder 于 2014-12-28 15:24 编辑
/ I" ^# Z" m8 |; N% O9 i8 X. M( {- \; z" y3 |! W; f
以前自己写过一个采集阿里巴巴商家email，电话，公司名称和职位的一个爬虫程序。感觉这个邮件采集程序的原理和我原来采用的一样，都是采用多线程，发起httpget请求，对返回结果用正则表达式匹配href，和自己需要找的邮件，电话啥的。然后再以这个href List为基础继续发起http get请求，如此，循环。则可以爬遍整个互联网。这是小弟自己的看法，望大神多多指点！
% W+ M1 m% ]; ^; `* u
' B; {: G' b4 B k email_spider是使用比较多的一个邮箱采集程序。官方网址是：- http://email.spider.gsa-online.de/
( M l9 B3 q7 \5 _% K 程序的功能包括：" D3 Z* n5 o& ~% ?6 Z& G
•从起始网站提取电子邮件
' @" `5 ^0 r+ W5 e: j3 }. D•除了电子邮件采集，电话和传真号码，您可以搜索+ ?3 s3 e3 q# U" b3 I& R1 a
•自动化发送电子邮件到您的新客户+ o2 y& _. D; ], K* G+ }" R
•收获电子邮件与搜索引擎的帮助下（300+包括）
( ]( R: M; {) h- Q: t' |•支持HTTPS网站9 P7 m- v5 A% f m1 A8 d
•支持SSL唯一的电子邮件服务提供商（如谷歌邮件）" W8 x1 K% Y! ?0 \1 o
•内部SNMP服务器直接发送电子邮件
6 Q9 L |, m) U, t# |# t5 q' Z. J•JavaScript的分析，找出保护的电子邮件地址+ w k/ ? m& _ E/ v( e7 W0 \
保护•反蜘蛛引擎（例如随机用户代理）
6 U' z, y0 x% l( r9 N3 R- k•收集电子邮件，它们的附加数据（如地址）5 |3 ?2 V, `! C5 o
•许多过滤器只能提取你想要的电子邮件: Q0 C& N6 E# k5 A; V6 M
•非常快的处理（100个线程，你可以很容易地提取500个新邮件一分钟）
& w' u8 c( D% h% z( r g5 v•多语言支持（现在的英语和德语）3 `4 C. L, K# ~7 K6 p
: ]& ] n4 N& ?; d* y+ ~! r2 X1 [4 H0 m$ x
这次分享的 email_spider是V5.3的crack版本，也几乎包含了上边所有的功能，可以从指定网址开始收集，也可以输入关键字收集，我在虚拟机中跑了一天，收集了大量的email。我用的虚拟机的配置是521M内存的，如果分配的大，可能获取的更多。如果想要收集更多，可以在多台vps上跑。# Z& f1 Q0 _4 a" A) x2 `
: k' w/ S9 O9 I
- T/ [6 @: M/ w; H: {2 j 程序跑起来比较稳定：
+ t, F+ \3 {8 T4 k- A- ^ $ E/ I: w C8 u6 F/ N1 n0 @, ]
) L' O" u% v$ E2 q2 ^" @8 W' } 程序安装步骤：8 N! X9 n8 h" W$ f- U) T- p
1) 添加如下内容到hots文件中: P2 v8 f0 K8 |( Z+ b/ m/ H0 L/ x
/ @9 M7 [+ x8 y127.0.0.1 www.findsoftware.eu `+ h2 D. p$ m$ I7 c5 [% @) X
127.0.0.1 findsoftware.eu/ [! \; [% Z3 _# i& a/ H
127.0.0.1 www.rostock-schwarz.de8 a% t" ]6 Z5 p; i
127.0.0.1 rostock-schwarz.de
/ x5 R; `3 I8 \* z: f; F127.0.0.1 www.gsa-online.de4 ~9 ~. I% A" p' W
127.0.0.1 gsa-online.de
( }/ {& H. |. ?. G
7 g( i. S9 ?) U- D4 H% c( q; i j4 M/ P
2)执行 email_spider.exe2 e5 Q3 O5 S, G; S: @: B) N
! v1 x7 { G, O2 L& G$ i1 K9 n9 y4 L% [' C" S
3) 要求注册时，输入用户名和密码。
: W& l9 b/ t3 W( M- I7 q1 P' s! H% o; \
Your license name is: MKDEV TEAM$ ]- v9 O! T" q% p, @+ P! |' }! w* Z
Your license code is: L1E1-1437-I93N-L1KL
% h; L3 ^, E: S% a3 E9 V" Y" a+ f
$ _' ?. @8 J& }3 f4 ~7 H, T+ h* W; h# f! Y3 F+ O+ t
另外附一个收集来的emailList.见附件。7 y7 `% M; ?* a2 ]
程序下载地址：- http://pan.baidu.com/share/link?shareid=4049923560&uk=3825420230
4 s3 B7 O, C, Q' n/ |8 f; s2 y$ o6 I7 O( p
8 J; z9 \8 d+ y/ W8 {$ Z |
本帖子中包含更多资源
您需要 登录 才可以下载或查看，没有账号？立即注册
x
评分
-
查看全部评分
|
发表于 2013-8-22 09:49:57
发表于 2013-8-22 10:01:37
楼主
,why do say like this?
发表于 2013-8-22 10:10:51
发表于 2016-3-10 10:18:36