本帖最后由 finder 于 2014-12-28 15:24 编辑 $ h0 i$ T! _; w/ b3 ~ R' p, x
7 [. h6 D& `- A+ Z2 Y* N d: _1 r
以前自己写过一个采集阿里巴巴商家email，电话，公司名称和职位的一个爬虫程序。感觉这个邮件采集程序的原理和我原来采用的一样，都是采用多线程，发起httpget请求，对返回结果用正则表达式匹配href，和自己需要找的邮件，电话啥的。然后再以这个href List为基础继续发起http get请求，如此，循环。则可以爬遍整个互联网。这是小弟自己的看法，望大神多多指点！ " s; W/ ` o2 r" ]9 [1 ~* K- F/ _3 X+ D, @# e
email_spider是使用比较多的一个邮箱采集程序。官方网址是：
http://email.spider.gsa-online.de/
复制代码
目前程序最新版本是V7.00.: M$ \+ ?, [8 F# e0 k' M
程序的功能包括： " [% s. O: Y: K3 e•从起始网站提取电子邮件8 D$ A5 P a! t' M0 L
•除了电子邮件采集，电话和传真号码，您可以搜索0 F$ C W+ Z9 J2 R
•自动化发送电子邮件到您的新客户# T* B6 B% u+ [/ [$ M. G
•收获电子邮件与搜索引擎的帮助下（300+包括） 0 {8 j4 Z3 f: i+ C•支持HTTPS网站 7 |. _5 x' y) K9 M0 t( N! W•支持SSL唯一的电子邮件服务提供商（如谷歌邮件）, Q2 n% V' ?$ _) X% k
•内部SNMP服务器直接发送电子邮件1 Q& H5 r: \& `( Q8 z' S
•JavaScript的分析，找出保护的电子邮件地址" Y& ~7 |' z/ r( ]
保护•反蜘蛛引擎（例如随机用户代理）, `, p% I: W% @" F
•收集电子邮件，它们的附加数据（如地址） ; B$ \8 E7 p' S7 v( K" x( P$ t•许多过滤器只能提取你想要的电子邮件& T! @; Y1 s2 }3 K- d7 ]
•非常快的处理（100个线程，你可以很容易地提取500个新邮件一分钟） 7 V) Q5 |- w* U* G; J•多语言支持（现在的英语和德语）( p) q8 s' _ @. t B4 z
$ r) ?4 d G0 X f+ ]% {4 O* M) W8 z: F h
这次分享的 email_spider是V5.3的crack版本，也几乎包含了上边所有的功能，可以从指定网址开始收集，也可以输入关键字收集，我在虚拟机中跑了一天，收集了大量的email。我用的虚拟机的配置是521M内存的，如果分配的大，可能获取的更多。如果想要收集更多，可以在多台vps上跑。4 B! S2 x' M8 L
发表于 2013-8-22 09:49:57
发表于 2013-8-22 10:01:37
,why do say like this?
发表于 2013-8-22 10:10:51
发表于 2016-3-10 10:18:36