本帖最后由 finder 于 2014-12-28 15:24 编辑 $ q/ l* f }; h* ~; ^ : x' |$ g! x. k: f/ w* I 以前自己写过一个采集阿里巴巴商家email，电话，公司名称和职位的一个爬虫程序。感觉这个邮件采集程序的原理和我原来采用的一样，都是采用多线程，发起httpget请求，对返回结果用正则表达式匹配href，和自己需要找的邮件，电话啥的。然后再以这个href List为基础继续发起http get请求，如此，循环。则可以爬遍整个互联网。这是小弟自己的看法，望大神多多指点！: }* \ `1 A1 q6 v u2 t4 v
1 \9 e( {9 }" O, ~% j2 J
email_spider是使用比较多的一个邮箱采集程序。官方网址是：
http://email.spider.gsa-online.de/
复制代码
目前程序最新版本是V7.00." w, U& V/ H1 z
程序的功能包括：" ?) U7 w2 o% p3 B0 d+ U' E
•从起始网站提取电子邮件 Y3 f$ _# W/ R. L* p2 _" ]•除了电子邮件采集，电话和传真号码，您可以搜索 6 {5 _7 F+ v" {, O) s% n•自动化发送电子邮件到您的新客户6 J6 G i" B D4 i" j" U7 W0 L
•收获电子邮件与搜索引擎的帮助下（300+包括）1 ?" S4 v& |: H) `
•支持HTTPS网站 l. b. Z) S7 m
•支持SSL唯一的电子邮件服务提供商（如谷歌邮件）, r7 G; s$ G0 Q" V) O. ]1 L
•内部SNMP服务器直接发送电子邮件7 M4 ]- v9 j2 F" p
•JavaScript的分析，找出保护的电子邮件地址 3 f! T; W9 j9 u1 y( C& l8 k4 p5 H保护•反蜘蛛引擎（例如随机用户代理） + {4 Q! t0 y/ L' M/ v A•收集电子邮件，它们的附加数据（如地址） : W0 g ^ K1 [) L: H•许多过滤器只能提取你想要的电子邮件7 `1 E, C* V/ @& J9 o2 G) v3 e
•非常快的处理（100个线程，你可以很容易地提取500个新邮件一分钟） 0 W1 k2 n( x& Q' G! A( g" h& ~•多语言支持（现在的英语和德语）8 E; x# x7 l& ~. @# T
7 ~+ L# c, V0 f7 R8 s$ p7 |6 b/ F& p1 R8 R5 P5 C S! ~5 O
这次分享的 email_spider是V5.3的crack版本，也几乎包含了上边所有的功能，可以从指定网址开始收集，也可以输入关键字收集，我在虚拟机中跑了一天，收集了大量的email。我用的虚拟机的配置是521M内存的，如果分配的大，可能获取的更多。如果想要收集更多，可以在多台vps上跑。$ A+ ]: Y, T, M
( h% l- ]1 e" k3 s3 R+ C( p1 s1 b7 | L* K
程序跑起来比较稳定：) \4 P& x6 U, A
5 O5 ^' o3 f j2 I. m1 u% U6 K( X
* |5 P5 T" C0 r6 m% l. t) s- ]) ?. i 程序安装步骤：6 E* V z. s4 i- X( n8 {0 A
1) 添加如下内容到hots文件中 % `! V) c) H$ |' X7 \7 s/ J, s- G3 p8 H; \( D3 Y& G2 l
127.0.0.1 www.findsoftware.eu$ T3 _% ]4 H1 O! D4 t, C/ J2 N8 C
127.0.0.1 findsoftware.eu - l& K" h4 t9 e9 f127.0.0.1 www.rostock-schwarz.de # S+ Y; Y b7 Y& g% }' I4 y9 D; v127.0.0.1 rostock-schwarz.de * n8 Y3 ]3 ^, N127.0.0.1 www.gsa-online.de " ]/ l3 X9 |; H127.0.0.1 gsa-online.de 1 {4 g2 \. _$ j2 |" Y. n 6 L: t( Y3 n J1 { Z* u2 }; j- D
2)执行 email_spider.exe 4 h6 n6 k( R2 }% g3 Q. U1 O% ]9 g8 ^9 Q0 ]0 w, u5 ^
. `3 }9 I+ G h, Y% _' R& @% _3) 要求注册时，输入用户名和密码。) r' F& }/ G. F# p G& J: g9 c
+ @% R( x! |/ q/ ` f) l3 P% EYour license name is: MKDEV TEAM8 C, X. D4 {; k }% @) x w
Your license code is: L1E1-1437-I93N-L1KL8 n+ H6 F7 k. x/ U1 ]* I) [
' ]( y' K: L' i: e0 l 9 M" C5 ^7 u: W5 i另外附一个收集来的emailList.见附件。 7 s3 m8 s# c; V. d) Y( a& Q# N0 u程序下载地址：
另:小弟想学论坛里其它东西，而苦于广告币严重步骤。如果各位坛友，觉得小弟发布的东西对你有用，就请多多评分，多多加广告币吧。小弟学到东西定会继续分享，提前谢谢诸位了。 . p5 K! L/ \& H) w7 c) N7 G. R9 m% R0 |! O3 F7 W3 e
$ |2 Z. O* D7 U9 G' o* C) p
发表于 2013-8-22 09:49:57
发表于 2013-8-22 10:01:37
楼主
,why do say like this?
发表于 2013-8-22 10:10:51
发表于 2016-3-10 10:18:36