|
|
本帖最后由 finder 于 2014-12-28 15:24 编辑
+ |: k1 f k2 [" B) _6 U& U' \1 T* Z/ T! j9 Y
以前自己写过一个采集阿里巴巴商家email，电话，公司名称和职位的一个爬虫程序。感觉这个邮件采集程序的原理和我原来采用的一样，都是采用多线程，发起httpget请求，对返回结果用正则表达式匹配href，和自己需要找的邮件，电话啥的。然后再以这个href List为基础继续发起http get请求，如此，循环。则可以爬遍整个互联网。这是小弟自己的看法，望大神多多指点！
* o! F/ i8 Y4 X. Z3 D7 n2 ] ]5 Z$ v% U& ^6 I y
email_spider是使用比较多的一个邮箱采集程序。官方网址是：- http://email.spider.gsa-online.de/
程序的功能包括：
: q$ ~+ i- j1 W' v" h! ^' K•从起始网站提取电子邮件
' |# Y; M) M4 Q$ I5 ?•除了电子邮件采集，电话和传真号码，您可以搜索
- ], ?1 E7 a; x8 m% F( r1 T% e•自动化发送电子邮件到您的新客户
& G) n3 N$ J5 T. T•收获电子邮件与搜索引擎的帮助下（300+包括）# b& i) _2 p" R' c7 E
•支持HTTPS网站
2 U% d# L2 k$ W•支持SSL唯一的电子邮件服务提供商（如谷歌邮件）6 m4 f0 |6 I9 O7 c0 e" W& a
•内部SNMP服务器直接发送电子邮件
) b7 d4 g/ U% I0 f•JavaScript的分析，找出保护的电子邮件地址
& H6 P" B1 Q. ~6 b: |保护•反蜘蛛引擎（例如随机用户代理）. z- ^8 L/ g& ^8 T# y
•收集电子邮件，它们的附加数据（如地址）
8 b( w) h/ r+ R9 J•许多过滤器只能提取你想要的电子邮件
. G b: V A5 [•非常快的处理（100个线程，你可以很容易地提取500个新邮件一分钟）9 F5 Z3 a: F1 ]
•多语言支持（现在的英语和德语）
2 q' S/ ?: [. g- r$ M* a: u
$ Q: Q4 l D5 Q* M
) k/ W q2 O5 S1 B: _: P: P 这次分享的 email_spider是V5.3的crack版本，也几乎包含了上边所有的功能，可以从指定网址开始收集，也可以输入关键字收集，我在虚拟机中跑了一天，收集了大量的email。我用的虚拟机的配置是521M内存的，如果分配的大，可能获取的更多。如果想要收集更多，可以在多台vps上跑。
+ z4 w* ]( f2 b2 H( P' e
1 u1 Y/ W: m% H1 C! B6 F3 a* t0 q) F+ J
程序跑起来比较稳定：
# h% G/ Q* y3 M( \, S, R( H : J4 p! ~) |- f3 K5 J
/ l5 U; n& O# i f+ J8 \5 [. R 程序安装步骤：
9 x- ]% `! U: S& @8 J1) 添加如下内容到hots文件中
/ U7 v2 m4 a1 K2 o4 G- a& `( Q K5 T) h# E; D+ l# A
127.0.0.1 www.findsoftware.eu: n) P# x3 V: ~" J/ U
127.0.0.1 findsoftware.eu7 H0 K- K0 ~, k6 }9 B/ A/ ^
127.0.0.1 www.rostock-schwarz.de* ~$ Q3 x1 ^" @4 V% V9 X3 r0 [
127.0.0.1 rostock-schwarz.de. z) p3 ^/ s( K* L2 N3 I
127.0.0.1 www.gsa-online.de. F" M0 i! X P2 n% m9 R
127.0.0.1 gsa-online.de1 q2 M" z5 o7 K( K. u& C% D8 s: K
$ D7 F9 @( a5 q0 g" m! F
! n2 M6 e/ i4 B0 r$ L& G2)执行 email_spider.exe
3 A) l( ] s& s- [3 }5 ]
/ \8 W% e& g$ o! _
) _6 ?9 W+ K: c- E1 r: C7 d3) 要求注册时，输入用户名和密码。
4 A6 @' Q! R3 V3 K0 }/ t9 Q% Y1 E
( y7 i4 e0 W3 RYour license name is: MKDEV TEAM
1 r' q- O6 F9 C0 lYour license code is: L1E1-1437-I93N-L1KL
) t& U' n$ E2 i* a: Q: _/ O8 c& E1 d9 A0 E- K9 O3 w
; |) b; J$ Z& \ N# Q; B6 h: O: B9 v另外附一个收集来的emailList.见附件。
7 x2 {( _) s h' K) B" C" [/ J- j# T程序下载地址：- http://pan.baidu.com/share/link?shareid=4049923560&uk=3825420230
% v% W W+ }: ?7 l/ r* C
4 z; D8 U o& `+ ~' n( o" ~3 m) U; `5 t9 ~- B) J0 j+ G# d) j; {: c- ~6 z
|
本帖子中包含更多资源
您需要 登录 才可以下载或查看，没有账号？立即注册
x
评分
-
查看全部评分
|
发表于 2013-8-22 09:49:57
发表于 2013-8-22 10:01:37
楼主
,why do say like this?
发表于 2013-8-22 10:10:51
发表于 2016-3-10 10:18:36