|
|
本帖最后由 finder 于 2014-12-28 15:24 编辑 8 y$ @( Z" D9 `- K/ u
( p1 A) Y, a; I* Y' m% C) Y1 F4 R" u
以前自己写过一个采集阿里巴巴商家email，电话，公司名称和职位的一个爬虫程序。感觉这个邮件采集程序的原理和我原来采用的一样，都是采用多线程，发起httpget请求，对返回结果用正则表达式匹配href，和自己需要找的邮件，电话啥的。然后再以这个href List为基础继续发起http get请求，如此，循环。则可以爬遍整个互联网。这是小弟自己的看法，望大神多多指点！ j2 @3 q1 m9 h! D1 z; d9 X+ v+ J
0 f% G6 I, e7 n2 V# c5 E1 D, v
email_spider是使用比较多的一个邮箱采集程序。官方网址是：- http://email.spider.gsa-online.de/
程序的功能包括：
6 p; Y7 `* B+ ^+ H# j•从起始网站提取电子邮件% @& ~- K$ L5 h* j% Y$ m
•除了电子邮件采集，电话和传真号码，您可以搜索
4 s: r5 ? e/ U% I+ Y$ Z# s2 ~•自动化发送电子邮件到您的新客户5 Q' {# B3 ]9 W" h2 G& l6 q
•收获电子邮件与搜索引擎的帮助下（300+包括）
* v& Y" Z( ~) Y- ^5 t•支持HTTPS网站
- n' @! S* j; [( f! f4 M3 g$ X•支持SSL唯一的电子邮件服务提供商（如谷歌邮件）- L+ D1 U' b- l' I
•内部SNMP服务器直接发送电子邮件, w- \- [0 W4 R' O, H. {8 D4 k
•JavaScript的分析，找出保护的电子邮件地址
4 b9 M+ {/ t z, t$ d保护•反蜘蛛引擎（例如随机用户代理）
5 w9 Q; ^. g' }3 v•收集电子邮件，它们的附加数据（如地址）$ S0 }. k9 Y; \3 w+ ?6 G+ a+ q
•许多过滤器只能提取你想要的电子邮件
5 t4 y% r' _0 c, P- J$ Q•非常快的处理（100个线程，你可以很容易地提取500个新邮件一分钟）) V, Q# n& t8 f
•多语言支持（现在的英语和德语）- u* {" P. @) s7 k3 r- l
8 ?; k; P% u* B; o: [8 ^5 m; n) s( {' X; f2 K/ T* | W. D
这次分享的 email_spider是V5.3的crack版本，也几乎包含了上边所有的功能，可以从指定网址开始收集，也可以输入关键字收集，我在虚拟机中跑了一天，收集了大量的email。我用的虚拟机的配置是521M内存的，如果分配的大，可能获取的更多。如果想要收集更多，可以在多台vps上跑。) x' i8 B. P9 e' o# L- g: T1 b: q
. k4 }/ \4 e7 r$ W: U5 w% K* z2 p0 O8 S7 N
程序跑起来比较稳定：2 S+ U9 r9 O7 [% f
. g9 M! ]. s" n9 A4 R9 I! L
0 `7 a9 Q2 Z8 T8 b! d. E# H 程序安装步骤：: p' R) b+ O8 D; G1 p6 O
1) 添加如下内容到hots文件中
* Q0 w1 i* M9 C. D, `
; Z2 s" I3 B& r8 Y: Y127.0.0.1 www.findsoftware.eu
3 C/ h9 Q: O9 ?! ]5 i127.0.0.1 findsoftware.eu T; W' r5 w- f
127.0.0.1 www.rostock-schwarz.de
@6 Y5 F! q3 h a- w+ J* W- @127.0.0.1 rostock-schwarz.de
" w( m" J: f/ P1 @. ?( L127.0.0.1 www.gsa-online.de9 t2 u; {% O2 G: ~0 D9 Q
127.0.0.1 gsa-online.de
9 f# x* t( C( R4 M( w, ~8 l7 S& a
9 I( K: Z" I8 j3 |0 a. A2)执行 email_spider.exe
; M( l1 ~5 T- w: q; k- T
, _% x, n; t4 [% Q1 p2 Z" t2 P0 Q8 Q1 l2 |; j
3) 要求注册时，输入用户名和密码。& C6 e+ F& U5 [( T: ~' @
/ T7 @6 C( l' I$ @9 l
Your license name is: MKDEV TEAM
3 \% Y: y' m2 s' X3 v% u, {Your license code is: L1E1-1437-I93N-L1KL/ h% L" a. X, a
# ]5 g8 M- B% O! n0 P4 S5 I: L( b: E
另外附一个收集来的emailList.见附件。
0 p/ F, N4 \0 V0 `$ A程序下载地址：- http://pan.baidu.com/share/link?shareid=4049923560&uk=3825420230
$ ]3 u3 o* R, l/ j' d2 Y1 ~: r) {/ o8 O
|
本帖子中包含更多资源
您需要 登录 才可以下载或查看，没有账号？立即注册
×
评分
-
查看全部评分
|
发表于 2013-8-22 09:49:57
发表于 2013-8-22 10:01:37
,why do say like this?
发表于 2013-8-22 10:10:51
发表于 2016-3-10 10:18:36