|
|
本帖最后由 finder 于 2014-12-28 15:24 编辑 * X* o8 {, p2 m+ T: H
4 m! g2 X6 ~/ j2 P$ g( h; l) E 以前自己写过一个采集阿里巴巴商家email，电话，公司名称和职位的一个爬虫程序。感觉这个邮件采集程序的原理和我原来采用的一样，都是采用多线程，发起httpget请求，对返回结果用正则表达式匹配href，和自己需要找的邮件，电话啥的。然后再以这个href List为基础继续发起http get请求，如此，循环。则可以爬遍整个互联网。这是小弟自己的看法，望大神多多指点！
3 p" z4 I- a& {8 ]4 {2 o: O( R5 D! S' y
email_spider是使用比较多的一个邮箱采集程序。官方网址是：- http://email.spider.gsa-online.de/
程序的功能包括：
( ?3 D0 @& s) [1 `2 H7 ]7 g•从起始网站提取电子邮件6 n2 f8 C4 c0 n$ | ]
•除了电子邮件采集，电话和传真号码，您可以搜索
" N3 I2 f7 }$ i' A) @- N, W•自动化发送电子邮件到您的新客户0 b! v) [6 p Y5 d
•收获电子邮件与搜索引擎的帮助下（300+包括）
' k! m4 x! @! R" b* R/ K' e& Y- p•支持HTTPS网站9 H ?# K2 F. j( W& E8 B; K
•支持SSL唯一的电子邮件服务提供商（如谷歌邮件）
8 M2 Q G; e E) g•内部SNMP服务器直接发送电子邮件
- _) z X3 i& N# \+ b% i•JavaScript的分析，找出保护的电子邮件地址
' s" y3 N8 J0 [, K& j/ m- n9 G保护•反蜘蛛引擎（例如随机用户代理）
- y4 @ J, H& L, P•收集电子邮件，它们的附加数据（如地址）
' e: ~" ^+ H! t$ m, j•许多过滤器只能提取你想要的电子邮件
7 H" r/ ]+ e& D) t7 @- M•非常快的处理（100个线程，你可以很容易地提取500个新邮件一分钟）- y% h5 \, e9 F9 t3 |3 g8 H; ?) o
•多语言支持（现在的英语和德语）! J4 D; v" {" n8 a) \) h, g- j r
, C+ X1 m. q* _* t
, }4 `# w# F) n. A7 q8 X6 Q1 J 这次分享的 email_spider是V5.3的crack版本，也几乎包含了上边所有的功能，可以从指定网址开始收集，也可以输入关键字收集，我在虚拟机中跑了一天，收集了大量的email。我用的虚拟机的配置是521M内存的，如果分配的大，可能获取的更多。如果想要收集更多，可以在多台vps上跑。
7 L7 l. @5 s2 k3 e& @
* R" Z6 I3 A# P( P! I
0 B: X4 C: h& B; S& T1 K 程序跑起来比较稳定：! G5 \/ I+ A! n0 \2 D5 A; A' V
" Y- k; L; Z/ k6 x& t& t
4 q6 h% ]3 D$ z- g 程序安装步骤：( G! S7 U* T7 i* P
1) 添加如下内容到hots文件中; L, |4 S9 y+ X
7 K; W5 k2 [: w7 k127.0.0.1 www.findsoftware.eu0 v$ ^' R. [/ f5 K
127.0.0.1 findsoftware.eu
1 D0 Z4 \( U. V J" M127.0.0.1 www.rostock-schwarz.de
9 A! t7 ]3 q: _' t' ~; }# I127.0.0.1 rostock-schwarz.de* [( z2 \( {2 h9 M7 ~9 d! q/ j
127.0.0.1 www.gsa-online.de
: r( i% i5 S3 D* |/ q127.0.0.1 gsa-online.de& V7 N, M' i/ [" A: |+ I
3 Y6 s# e+ a$ d0 j3 q* D% @. ^/ l! E6 M+ P+ e) @/ R) m
2)执行 email_spider.exe) {: P7 C% K; S) i! B
; W1 A4 ], D( n" C& C6 r- r4 c3 M
9 C4 Q- y; A" [, h/ n; L7 ^3) 要求注册时，输入用户名和密码。8 ]! Q; \& A" j$ a5 b, x
$ o4 _( f0 b$ [: LYour license name is: MKDEV TEAM% ]. D& j; P, S" `; |
Your license code is: L1E1-1437-I93N-L1KL
! o# ^* \8 \* @: |
7 }4 N% u T& o, a: ?
1 {/ ~; D9 I ? d) o+ s: t另外附一个收集来的emailList.见附件。
7 `/ w- m0 L, ^9 U% C( W7 z程序下载地址：- http://pan.baidu.com/share/link?shareid=4049923560&uk=3825420230
9 _. W, [: H6 C. t( r2 k( |! I; k( w
9 y5 Z( ]7 b: o. a |
本帖子中包含更多资源
您需要 登录 才可以下载或查看，没有账号？立即注册
x
评分
-
查看全部评分
|
发表于 2013-8-22 09:49:57
发表于 2013-8-22 10:01:37
楼主
,why do say like this?
发表于 2013-8-22 10:10:51
发表于 2016-3-10 10:18:36