|
|
本帖最后由 finder 于 2014-12-28 15:24 编辑
) B- \8 C& {* g3 R
) S. { ?3 }) @, l$ i7 Y 以前自己写过一个采集阿里巴巴商家email，电话，公司名称和职位的一个爬虫程序。感觉这个邮件采集程序的原理和我原来采用的一样，都是采用多线程，发起httpget请求，对返回结果用正则表达式匹配href，和自己需要找的邮件，电话啥的。然后再以这个href List为基础继续发起http get请求，如此，循环。则可以爬遍整个互联网。这是小弟自己的看法，望大神多多指点！
/ b! z* }7 {* t) z
. R8 c4 [" S8 m) E3 e! f' J email_spider是使用比较多的一个邮箱采集程序。官方网址是：- http://email.spider.gsa-online.de/
程序的功能包括：4 L9 a$ ~' ~% Y6 z) v0 S) z# e
•从起始网站提取电子邮件
) I" D3 L+ T; l f3 n•除了电子邮件采集，电话和传真号码，您可以搜索
, V- A! W- n2 Y% K•自动化发送电子邮件到您的新客户/ M; q. Y4 m$ G* E) o
•收获电子邮件与搜索引擎的帮助下（300+包括）
7 w$ j/ o- V* w5 E4 f, F3 D•支持HTTPS网站
[$ P: @0 w+ p" M8 h•支持SSL唯一的电子邮件服务提供商（如谷歌邮件）: u( } {: D: p' C6 v( W2 [9 L
•内部SNMP服务器直接发送电子邮件. L0 V- u& S3 f& K+ `0 {; c
•JavaScript的分析，找出保护的电子邮件地址
+ r0 M" B8 ?0 l7 @保护•反蜘蛛引擎（例如随机用户代理）- C; }% j0 [4 K, }: {5 T
•收集电子邮件，它们的附加数据（如地址）% X3 `" i7 i' T& J( A" ~
•许多过滤器只能提取你想要的电子邮件5 X) w8 i2 T) _5 D6 X) i
•非常快的处理（100个线程，你可以很容易地提取500个新邮件一分钟）. ?' ?$ K" Z- i: ~3 B& `
•多语言支持（现在的英语和德语）/ u/ l4 T9 z& ]# T9 r8 y# i: H
; h) C: T( g. j3 x& _
7 {3 ]0 f) E& x( W: _: v 这次分享的 email_spider是V5.3的crack版本，也几乎包含了上边所有的功能，可以从指定网址开始收集，也可以输入关键字收集，我在虚拟机中跑了一天，收集了大量的email。我用的虚拟机的配置是521M内存的，如果分配的大，可能获取的更多。如果想要收集更多，可以在多台vps上跑。& `0 M5 Q9 v5 u4 k9 j" T) z' E3 c, F
$ ]+ ] n! A# l) o1 B. W
; L' U9 g* O( F" ]: T2 k8 B; m0 O
程序跑起来比较稳定：
* t- K1 |$ p3 @7 v
% r# Y; |* `! u6 O" |# W5 _( E' m
程序安装步骤：
* n% R- t. @/ U8 c: e1) 添加如下内容到hots文件中
5 Y* W" C( `' [" o2 O6 O: D
R0 F- @5 F& E/ \127.0.0.1 www.findsoftware.eu$ [% L# F2 Q4 y3 o0 q
127.0.0.1 findsoftware.eu: D6 k+ Y% o2 J4 [7 @! U7 C
127.0.0.1 www.rostock-schwarz.de6 _1 g: V B1 [+ e# R
127.0.0.1 rostock-schwarz.de
' {$ B% X# J+ j, y7 z; p127.0.0.1 www.gsa-online.de
; m7 f( e; Z% }# _127.0.0.1 gsa-online.de
9 V- r' ]/ N \
4 [) Y a5 g: k% k9 `* q9 l& \* Z3 b, n8 ?% i
2)执行 email_spider.exe$ p/ E# T" i1 l0 F# K- v8 S |
* Y& l* P, X& S
$ Q7 v( ]% l0 c+ R, q6 V) I
3) 要求注册时，输入用户名和密码。) C! \9 p3 Y+ @2 I8 m# X/ ~ t
. u5 s! d' I. MYour license name is: MKDEV TEAM2 N7 B7 b$ n+ n5 U' g& e
Your license code is: L1E1-1437-I93N-L1KL
1 B& i+ R* O5 ^! r" N! C7 Y; F, j
3 A1 N1 T$ z$ D* u3 m _! z另外附一个收集来的emailList.见附件。
$ i. i) l# N5 y9 b程序下载地址：- http://pan.baidu.com/share/link?shareid=4049923560&uk=3825420230
! w9 [) w* j" [
3 I, {. F- g, B/ v; H( [ |
本帖子中包含更多资源
您需要 登录 才可以下载或查看，没有账号？立即注册
x
评分
-
查看全部评分
|
发表于 2013-8-22 09:49:57
发表于 2013-8-22 10:01:37
楼主
,why do say like this?
发表于 2013-8-22 10:10:51
发表于 2016-3-10 10:18:36