|
|
本帖最后由 finder 于 2014-12-28 15:24 编辑
) R' N4 T9 ~5 J% U( o( C8 _7 Q- D3 P+ F: l
以前自己写过一个采集阿里巴巴商家email，电话，公司名称和职位的一个爬虫程序。感觉这个邮件采集程序的原理和我原来采用的一样，都是采用多线程，发起httpget请求，对返回结果用正则表达式匹配href，和自己需要找的邮件，电话啥的。然后再以这个href List为基础继续发起http get请求，如此，循环。则可以爬遍整个互联网。这是小弟自己的看法，望大神多多指点！: H2 p! L3 q5 D% \! ~9 [
" Y# f! X# f! g. r
email_spider是使用比较多的一个邮箱采集程序。官方网址是：- http://email.spider.gsa-online.de/
程序的功能包括：
5 N4 ]% J0 B( `/ ]6 |•从起始网站提取电子邮件$ p0 l2 I U2 [. Q5 k. w
•除了电子邮件采集，电话和传真号码，您可以搜索0 q1 b- V1 U( J& a
•自动化发送电子邮件到您的新客户
& g- \4 ]1 R' P•收获电子邮件与搜索引擎的帮助下（300+包括）
3 ?% c# J% E1 o( @+ }3 o3 O; }•支持HTTPS网站
8 L( ?9 S- u3 N# z* y•支持SSL唯一的电子邮件服务提供商（如谷歌邮件）
( F/ l% y X1 D! `; B9 z•内部SNMP服务器直接发送电子邮件' U3 J6 y: ^6 u. z. b, a
•JavaScript的分析，找出保护的电子邮件地址) l( z! D, d- k. p# }% m; @* B' q
保护•反蜘蛛引擎（例如随机用户代理）
; K K3 W3 g8 h7 f•收集电子邮件，它们的附加数据（如地址）+ _+ x6 x S& A7 f, i8 ]
•许多过滤器只能提取你想要的电子邮件% L8 z, C( V# a6 V6 Z3 }
•非常快的处理（100个线程，你可以很容易地提取500个新邮件一分钟）
/ U9 Q8 I6 g6 w•多语言支持（现在的英语和德语）; V% l3 n% p- Y T% H
& I0 R0 j. B; Q& H* e. k# y3 i
9 j, C3 P9 d6 O y- ?$ o. D9 _ 这次分享的 email_spider是V5.3的crack版本，也几乎包含了上边所有的功能，可以从指定网址开始收集，也可以输入关键字收集，我在虚拟机中跑了一天，收集了大量的email。我用的虚拟机的配置是521M内存的，如果分配的大，可能获取的更多。如果想要收集更多，可以在多台vps上跑。! i2 T* h' b+ K- P, r$ `
' V( G7 p9 ?" w2 t
/ w8 M7 a. }* g- E' r 程序跑起来比较稳定：, Z* Z; M0 a# D1 i
. C, o# A& j8 a4 f: E# K7 Y; q" w6 l* [
9 ]$ S Q b$ w- N) T2 c" \
程序安装步骤：
; z. a# x8 @) e0 f% P1) 添加如下内容到hots文件中
% W B+ B( w! o- p8 `# H! Z( y
0 P! ^4 _+ e+ O: F127.0.0.1 www.findsoftware.eu0 g/ h1 e' l/ ?: h1 Y+ _! T- X
127.0.0.1 findsoftware.eu- o6 K" w1 E8 L/ \
127.0.0.1 www.rostock-schwarz.de5 s) M% T# W1 t7 b" [
127.0.0.1 rostock-schwarz.de4 V' q. Q: S: C+ o$ E2 C2 {4 P9 R0 b
127.0.0.1 www.gsa-online.de
( [7 T3 m. I/ Y: J( v: R: I127.0.0.1 gsa-online.de
) a1 d- K# j5 l# G, y3 n3 Q6 H ?* H0 O$ x
) S5 U0 t' G7 o3 m+ d6 p t+ O
2)执行 email_spider.exe
' A* P8 N3 N7 U1 {1 b
% y* I& T D [
. \# {8 Q! ?8 J3 Z) W: p6 s3) 要求注册时，输入用户名和密码。: c: h* U) k# |) a
3 {: q% S3 C6 g4 e3 a1 rYour license name is: MKDEV TEAM1 A; Z2 q' }! ^3 z2 b
Your license code is: L1E1-1437-I93N-L1KL
% Z+ I8 ~$ ]% _8 G
2 d" [$ N3 V! L$ p e& p
& R1 I9 `0 d" H) n# E; i9 T* X另外附一个收集来的emailList.见附件。+ {( L s) Y E3 F/ ^
程序下载地址：- http://pan.baidu.com/share/link?shareid=4049923560&uk=3825420230
* T* Z$ e* v+ d1 j9 Y4 s/ {9 f; p2 J$ ^! q5 c/ O# W. {9 H: Z) o0 f6 l( x: M
|
本帖子中包含更多资源
您需要 登录 才可以下载或查看，没有账号？立即注册
x
评分
-
查看全部评分
|
发表于 2013-8-22 09:49:57
发表于 2013-8-22 10:01:37
楼主
,why do say like this?
发表于 2013-8-22 10:10:51
发表于 2016-3-10 10:18:36