|
|
本帖最后由 finder 于 2014-12-28 15:24 编辑
& k' e! Q9 q0 ?$ w5 K. P
" L K) {4 F7 ]# D 以前自己写过一个采集阿里巴巴商家email，电话，公司名称和职位的一个爬虫程序。感觉这个邮件采集程序的原理和我原来采用的一样，都是采用多线程，发起httpget请求，对返回结果用正则表达式匹配href，和自己需要找的邮件，电话啥的。然后再以这个href List为基础继续发起http get请求，如此，循环。则可以爬遍整个互联网。这是小弟自己的看法，望大神多多指点！/ o3 _) U4 Q! n# r3 e) \
$ Y3 b+ [' w, i* }2 x+ I
email_spider是使用比较多的一个邮箱采集程序。官方网址是：- http://email.spider.gsa-online.de/
2 U- Y; F; b" { \4 l8 ~+ C- q 程序的功能包括：8 Z: E% H# h; ~9 ~3 I+ f2 r9 n( Y
•从起始网站提取电子邮件7 x( l- Z: x" o
•除了电子邮件采集，电话和传真号码，您可以搜索
7 H6 \ h) @" Z7 u, q, N; {•自动化发送电子邮件到您的新客户& Q. ~ J% I/ J5 |
•收获电子邮件与搜索引擎的帮助下（300+包括）
, {. J K. K0 e. A+ p- U•支持HTTPS网站
$ P( |- p& w7 d6 o•支持SSL唯一的电子邮件服务提供商（如谷歌邮件）
' b! r8 q; d9 _/ k* X1 i: I* F•内部SNMP服务器直接发送电子邮件) [0 j6 a( m" W; X
•JavaScript的分析，找出保护的电子邮件地址
- w( ~0 u: G7 ]2 q; Z: ^保护•反蜘蛛引擎（例如随机用户代理）# h5 a3 S- g" s+ h7 l7 {: b3 o
•收集电子邮件，它们的附加数据（如地址）
j7 P/ g, E, @' ?•许多过滤器只能提取你想要的电子邮件3 \ H- u$ }0 m. v: s. S
•非常快的处理（100个线程，你可以很容易地提取500个新邮件一分钟）. t0 k$ [! Q( u) k$ U* I/ I
•多语言支持（现在的英语和德语）
& k, H( A4 F% f- e/ Z$ I8 B4 B0 p# K" B
- r6 u0 k: v- c 这次分享的 email_spider是V5.3的crack版本，也几乎包含了上边所有的功能，可以从指定网址开始收集，也可以输入关键字收集，我在虚拟机中跑了一天，收集了大量的email。我用的虚拟机的配置是521M内存的，如果分配的大，可能获取的更多。如果想要收集更多，可以在多台vps上跑。# K0 x8 c/ G7 W7 c2 f3 b% v
, ]7 C- S0 p9 N3 A! y) p
/ K5 x. R) N, q" g0 n' w 程序跑起来比较稳定：
9 X+ P' E5 z" h: c( R 2 h9 f+ t- c. s' n! Y
2 P; N3 i! [, q& p7 c3 u" h 程序安装步骤：) V5 S$ I. P. R# B" Q7 y
1) 添加如下内容到hots文件中
" _5 b9 h% Q8 ~$ T: w
* P3 v/ `$ C5 M5 S1 v127.0.0.1 www.findsoftware.eu+ C' f* S# k. R. Z
127.0.0.1 findsoftware.eu% I/ K! m: L; u2 I
127.0.0.1 www.rostock-schwarz.de
# r S" J* ^+ a$ R' e9 d" ]127.0.0.1 rostock-schwarz.de% V* T6 q p) s; C# }6 j/ b- |, |
127.0.0.1 www.gsa-online.de
. ~& H# D, r7 q127.0.0.1 gsa-online.de
; n, V/ T) X2 ~1 {6 K. e! I; Z, f2 `3 ^0 L
& V' ?- B5 Z9 s8 _, N h8 z
2)执行 email_spider.exe$ H/ H; O( ^/ O j: }
2 S( w) U/ O, L0 d9 D/ B" ?
0 [9 x. W5 g$ J* k! _1 _6 f
3) 要求注册时，输入用户名和密码。' q" m' [) d4 d* u4 U; I; R
& b8 H# }& o1 W+ g+ H# z# o
Your license name is: MKDEV TEAM
$ W: y- E$ w B. uYour license code is: L1E1-1437-I93N-L1KL# G# W: Q6 ~- _1 P* a; @
, r# P4 W- l" S+ Q/ `+ x6 y2 c6 }, Y2 l9 ^; z3 A
另外附一个收集来的emailList.见附件。
: C: g# X: \4 Z- G程序下载地址：- http://pan.baidu.com/share/link?shareid=4049923560&uk=3825420230
- ]1 |6 Q4 g" s' R9 D& c9 c# [& O6 j2 h* b7 A$ d* N
* F( T1 X6 |0 h u |
本帖子中包含更多资源
您需要 登录 才可以下载或查看，没有账号？立即注册
x
评分
-
查看全部评分
|
发表于 2013-8-22 09:49:57
发表于 2013-8-22 10:01:37
楼主
,why do say like this?
发表于 2013-8-22 10:10:51
发表于 2016-3-10 10:18:36