|
|
本帖最后由 finder 于 2014-12-28 15:24 编辑 * K( ^. F' |+ u4 h
5 p! l; A% |& o u. j7 A% x 以前自己写过一个采集阿里巴巴商家email,电话,公司名称和职位的一个爬虫程序。感觉这个邮件采集程序的原理和我原来采用的一样,都是采用多线程,发起httpget请求,对返回结果用正则表达式匹配href,和自己需要找的邮件,电话啥的。然后再以这个href List为基础继续发起http get请求,如此,循环。则可以爬遍整个互联网。这是小弟自己的看法,望大神多多指点!/ ~( n4 t: Z; M6 G# S
/ O3 G! R9 [9 ?/ y) k; j& P% D
email_spider是使用比较多的一个邮箱采集程序。官方网址是:- http://email.spider.gsa-online.de/
复制代码 目前程序最新版本是V7.00.
- n$ I* i" P4 A4 T2 v! D# s3 r8 | 程序的功能包括:
, H% A* v6 @3 Z•从起始网站提取电子邮件, E' ]! O. F( P2 b
•除了电子邮件采集,电话和传真号码,您可以搜索+ v c5 j$ X; v- r" G
•自动化发送电子邮件到您的新客户, J. _8 j5 x }" ?1 u
•收获电子邮件与搜索引擎的帮助下(300+包括)3 n0 N$ _' r, W6 Y
•支持HTTPS网站6 k/ S+ Y# Q6 h( }6 U& ? E
•支持SSL唯一的电子邮件服务提供商(如谷歌邮件)
/ a) T' k4 U4 t+ y" w; M•内部SNMP服务器直接发送电子邮件# ?. D }# _% p4 {8 Q( ~
•JavaScript的分析,找出保护的电子邮件地址; w8 X* o- G9 ^4 a8 F. m
保护•反蜘蛛引擎(例如随机用户代理)
L& g4 T) v2 k1 | S; `•收集电子邮件,它们的附加数据(如地址)3 ~- E( z! @ m; t
•许多过滤器只能提取你想要的电子邮件5 s, d6 @4 v S. Q
•非常快的处理(100个线程,你可以很容易地提取500个新邮件一分钟). H7 z7 ?5 F9 q7 ]0 F
•多语言支持(现在的英语和德语)
' j0 I( {! c- w) z" |$ u" s% f. ^2 I- x" B
% i: k8 a7 C& L! d# n1 N$ q 这次分享的 email_spider是V5.3的crack版本,也几乎包含了上边所有的功能,可以从指定网址开始收集,也可以输入关键字收集,我在虚拟机中跑了一天,收集了大量的email。我用的虚拟机的配置是521M内存的,如果分配的大,可能获取的更多。如果想要收集更多,可以在多台vps上跑。
* O2 r& w6 l. A8 a1 a0 ?1 J
; @% B$ c# G6 g0 E7 z( J0 e. ~' i$ g& q9 n# M6 ~ I/ T
程序跑起来比较稳定:' @. b% P- `4 `, d! S1 q
3 _0 v8 D" ^' d7 U# }
9 f* W6 L* l) `0 B( R4 H 程序安装步骤:
, o `# L) G5 j% D X& _1) 添加如下内容到hots文件中
, g% y% Z' Z! V! J) |3 i9 ~& H6 F
127.0.0.1 www.findsoftware.eu
& o& ^( I4 t, W2 n2 o127.0.0.1 findsoftware.eu/ g7 Z* q/ P8 F( B* e7 d- {
127.0.0.1 www.rostock-schwarz.de
. I& F* Z1 I' @+ E4 M9 c+ D5 ^. s127.0.0.1 rostock-schwarz.de
( U# g/ `0 I4 H' I- u, [1 R' e( E127.0.0.1 www.gsa-online.de; _3 S6 y' T1 R, [9 O
127.0.0.1 gsa-online.de$ R ~& x% k0 _4 v
$ \) l2 X ~' Y# }9 T# Y8 O# u% f' A# J, }7 j
2)执行 email_spider.exe, J+ O( D3 v9 {' i) v$ P$ C
' t: z. K7 n X$ B I9 V7 M+ {# }$ x4 v
3) 要求注册时,输入用户名和密码。
4 D4 B0 v- l: Z3 H
6 c& X* z3 M; X) `Your license name is: MKDEV TEAM3 D0 E, O- |$ ~+ {" [1 C7 z* T, {. ]
Your license code is: L1E1-1437-I93N-L1KL& h- K4 Y4 U# b9 I# T9 Y
* u! [3 f- w, M4 r r
2 s$ P% ~" y" K1 V1 B0 B另外附一个收集来的emailList.见附件。
) }2 v0 Q+ T v程序下载地址:- http://pan.baidu.com/share/link?shareid=4049923560&uk=3825420230
复制代码 另:小弟想学论坛里其它东西,而苦于广告币严重步骤。如果各位坛友,觉得小弟发布的东西对你有用,就请多多评分,多多加广告币吧。小弟学到东西定会继续分享,提前谢谢诸位了。
. j2 G4 R, [9 c# h. a1 L: Q
( e+ R: ^* [1 b$ L/ t4 j
" L @& f! }. m$ S( o l/ }) p. L* o |
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
×
评分
-
查看全部评分
|