|
|
本帖最后由 finder 于 2014-12-28 15:24 编辑
" W& D: e0 d% [$ x4 }
7 r) Z/ g* F. f% Q, n 以前自己写过一个采集阿里巴巴商家email，电话，公司名称和职位的一个爬虫程序。感觉这个邮件采集程序的原理和我原来采用的一样，都是采用多线程，发起httpget请求，对返回结果用正则表达式匹配href，和自己需要找的邮件，电话啥的。然后再以这个href List为基础继续发起http get请求，如此，循环。则可以爬遍整个互联网。这是小弟自己的看法，望大神多多指点！9 F6 n4 ]$ [$ [
3 g/ D9 E& s# F8 n# F* c& X
email_spider是使用比较多的一个邮箱采集程序。官方网址是：- http://email.spider.gsa-online.de/
程序的功能包括：) z' N: R3 j/ i% T
•从起始网站提取电子邮件4 @4 ~8 {9 _! J/ y# O
•除了电子邮件采集，电话和传真号码，您可以搜索
) W+ T1 W8 J0 V8 y$ H3 ]•自动化发送电子邮件到您的新客户# @2 |$ b! p5 F0 Q H4 q& w
•收获电子邮件与搜索引擎的帮助下（300+包括）
' ^) @9 S' k6 |6 X1 }! Q•支持HTTPS网站$ e, V! A4 \( a: q1 L$ G
•支持SSL唯一的电子邮件服务提供商（如谷歌邮件）7 n, ~; ]; U1 o4 o& y& G
•内部SNMP服务器直接发送电子邮件
+ y: d* G5 o+ L# ?( Y•JavaScript的分析，找出保护的电子邮件地址; v( f1 q' k( y6 x
保护•反蜘蛛引擎（例如随机用户代理）4 ^) `4 y# y! V% C2 R2 k
•收集电子邮件，它们的附加数据（如地址）
3 S# e9 Z+ K* Q•许多过滤器只能提取你想要的电子邮件& I! I2 j5 K, n3 j4 M( e6 Y2 ~
•非常快的处理（100个线程，你可以很容易地提取500个新邮件一分钟）
' I: L6 r6 D4 v•多语言支持（现在的英语和德语）. R4 c: G- o" m
& U/ B4 H7 _* K. I+ ]3 w
( v5 k6 H9 C: _' M/ E
这次分享的 email_spider是V5.3的crack版本，也几乎包含了上边所有的功能，可以从指定网址开始收集，也可以输入关键字收集，我在虚拟机中跑了一天，收集了大量的email。我用的虚拟机的配置是521M内存的，如果分配的大，可能获取的更多。如果想要收集更多，可以在多台vps上跑。, M7 k: G, B2 b+ T. ~
, s4 a, \6 o6 @1 i# |% M0 f* @* e
5 K `( R+ s& Y+ |1 Y) v
程序跑起来比较稳定：( k& r( B8 Q5 R4 }
% @; [; u T4 q5 R# T0 K
+ ]4 e# i4 \! M+ [ 程序安装步骤：" S+ P0 }' f# |$ U m2 v
1) 添加如下内容到hots文件中
1 p3 \( ?% k5 w* t6 ?
& [3 N4 ^9 l$ Q4 t$ |" `( r( W127.0.0.1 www.findsoftware.eu
, x. K' _ [9 Q7 E- ^4 j127.0.0.1 findsoftware.eu
K* Q; x, n# `( R127.0.0.1 www.rostock-schwarz.de: F7 T7 h: `" N! a9 k
127.0.0.1 rostock-schwarz.de9 v: R2 S. F5 V
127.0.0.1 www.gsa-online.de3 A( R8 C! k+ g& N o; N, P0 O
127.0.0.1 gsa-online.de1 j5 {, ?7 C, v% b; r1 Y# @& V
" T( R8 r; P2 B) b! ^4 d, F8 A. [
6 y P7 Q* Y2 C; ?
2)执行 email_spider.exe
4 |* N* b) l8 W6 |; y6 }, A0 k1 ?7 f# @( p2 Y$ Z
) O* A% V8 I: ]% z3) 要求注册时，输入用户名和密码。' \4 ?" t7 w( m
9 H0 W* Y5 w+ oYour license name is: MKDEV TEAM
# x0 m4 S+ `5 A2 Y/ nYour license code is: L1E1-1437-I93N-L1KL
) J5 H8 t$ U8 H6 K9 `- J, P! h8 S/ O% _/ F# {7 w
5 V8 y a3 s6 m7 t7 e% ?
另外附一个收集来的emailList.见附件。 N- m$ V+ N" j
程序下载地址：- http://pan.baidu.com/share/link?shareid=4049923560&uk=3825420230
. G3 Q: Y7 S! D$ ?" ^' c2 r/ k G; Z% ~5 i9 i& S6 P0 _
& a$ n7 O: P( Q6 v/ X |
本帖子中包含更多资源
您需要 登录 才可以下载或查看，没有账号？立即注册
x
评分
-
查看全部评分
|
发表于 2013-8-22 09:49:57
发表于 2013-8-22 10:01:37
楼主
,why do say like this?
发表于 2013-8-22 10:10:51
发表于 2016-3-10 10:18:36