|
|
本帖最后由 finder 于 2014-12-28 15:24 编辑
# [7 A0 L% N8 N3 ]3 g1 S" G# S$ G3 Q
以前自己写过一个采集阿里巴巴商家email，电话，公司名称和职位的一个爬虫程序。感觉这个邮件采集程序的原理和我原来采用的一样，都是采用多线程，发起httpget请求，对返回结果用正则表达式匹配href，和自己需要找的邮件，电话啥的。然后再以这个href List为基础继续发起http get请求，如此，循环。则可以爬遍整个互联网。这是小弟自己的看法，望大神多多指点！
/ o* B4 P7 n1 g1 S, F3 n' B2 d0 u" C7 Y# Z* B! X
email_spider是使用比较多的一个邮箱采集程序。官方网址是：- http://email.spider.gsa-online.de/
' d( y1 i1 o( o* C5 }4 u) ? 程序的功能包括：5 F* [2 `' p9 l3 a" C6 M. W
•从起始网站提取电子邮件7 q# [4 _) t8 P: u3 H j
•除了电子邮件采集，电话和传真号码，您可以搜索
7 [+ p M/ N0 N+ ^1 P) L•自动化发送电子邮件到您的新客户
" o7 q: K( g' W4 F* y•收获电子邮件与搜索引擎的帮助下（300+包括）
: o6 t2 K, }% U/ F, O•支持HTTPS网站
) p. F& H ?( E; ]* n2 C0 @5 t% m•支持SSL唯一的电子邮件服务提供商（如谷歌邮件）* h. T+ U& p: i7 i
•内部SNMP服务器直接发送电子邮件8 v6 n. ?3 f/ d- f3 p8 z
•JavaScript的分析，找出保护的电子邮件地址9 L# W+ }/ h/ Q7 \
保护•反蜘蛛引擎（例如随机用户代理）
6 W1 |& U& ~9 ~; u+ v% n•收集电子邮件，它们的附加数据（如地址）! ?+ o& _0 @4 r$ o0 I1 L
•许多过滤器只能提取你想要的电子邮件) c) t9 h9 ]9 J$ u- ^
•非常快的处理（100个线程，你可以很容易地提取500个新邮件一分钟）1 i1 X& f! x1 N
•多语言支持（现在的英语和德语）
* r, G3 q3 W) N8 g& l9 t
+ V# F4 h) U3 X& _6 u# i0 y" ?' l
9 i8 y! l% ?* ~. ]' R 这次分享的 email_spider是V5.3的crack版本，也几乎包含了上边所有的功能，可以从指定网址开始收集，也可以输入关键字收集，我在虚拟机中跑了一天，收集了大量的email。我用的虚拟机的配置是521M内存的，如果分配的大，可能获取的更多。如果想要收集更多，可以在多台vps上跑。
* h$ c0 a/ F8 q" V3 l/ ~. q1 H* n8 q7 N: b
$ P; A. R/ N# k 程序跑起来比较稳定：
2 X7 S' z7 u* V& Y1 J . o' x* c3 H! S# f
; w* ]4 }& J7 x1 z1 j5 o/ h 程序安装步骤：/ v' v( Y5 l7 [7 U0 A$ p
1) 添加如下内容到hots文件中% m) e- i% U3 m# d
: K5 S8 R2 {6 p! J
127.0.0.1 www.findsoftware.eu# s3 H( G8 {' J* P
127.0.0.1 findsoftware.eu
! p0 O5 j6 o% t0 g! x' @127.0.0.1 www.rostock-schwarz.de
! J0 H; l2 `2 y, i8 }127.0.0.1 rostock-schwarz.de# v& z1 _8 I/ ~% j
127.0.0.1 www.gsa-online.de3 [: n0 e/ A" x- Q {% m
127.0.0.1 gsa-online.de5 B0 Y/ Y K" a* ^3 A- h. U$ i
: B N9 a1 w+ x1 H, X! z B" u6 s% t) d0 T
2)执行 email_spider.exe$ f2 Y0 G. j( W
5 b6 y2 S) N/ r1 [8 Y
% ^, s/ ]6 V1 A% l# E3) 要求注册时，输入用户名和密码。2 {! @1 e8 e: x7 I
$ h; z: {4 B1 ~( H) i
Your license name is: MKDEV TEAM
6 Q5 f1 @/ { `) A+ ^! DYour license code is: L1E1-1437-I93N-L1KL. y5 W/ b0 D$ G# i+ [9 P$ Z& B
. z$ f& _0 `( R$ O8 x5 w6 W H0 Q" A- H/ w4 o) d0 L6 Y) `
另外附一个收集来的emailList.见附件。+ M8 V8 _) l5 X
程序下载地址：- http://pan.baidu.com/share/link?shareid=4049923560&uk=3825420230
! O/ F; Q3 Z( x8 K3 w; R0 b& [8 x
2 x; J% Z3 `4 z+ z
% e6 P- ]; I" i9 o% t9 @ |
本帖子中包含更多资源
您需要 登录 才可以下载或查看，没有账号？立即注册
x
评分
-
查看全部评分
|
发表于 2013-8-22 09:49:57
发表于 2013-8-22 10:01:37
楼主
,why do say like this?
发表于 2013-8-22 10:10:51
发表于 2016-3-10 10:18:36