|
|
本帖最后由 finder 于 2014-12-28 15:24 编辑
( k1 G" l" L, U4 D
3 N8 a8 o! ^' h: ?; C$ v 以前自己写过一个采集阿里巴巴商家email，电话，公司名称和职位的一个爬虫程序。感觉这个邮件采集程序的原理和我原来采用的一样，都是采用多线程，发起httpget请求，对返回结果用正则表达式匹配href，和自己需要找的邮件，电话啥的。然后再以这个href List为基础继续发起http get请求，如此，循环。则可以爬遍整个互联网。这是小弟自己的看法，望大神多多指点！
; ?2 W+ u$ P: L/ f4 h" {( o* Y' c0 K( \5 T
email_spider是使用比较多的一个邮箱采集程序。官方网址是：- http://email.spider.gsa-online.de/
4 O. C1 B2 _) y; D7 L 程序的功能包括：
& o( c5 i$ c, k* z+ E+ l( |6 H" Y•从起始网站提取电子邮件6 a4 P+ H5 E5 B2 o' \6 u) p/ H) C
•除了电子邮件采集，电话和传真号码，您可以搜索
' K& b- b' c3 w$ B- H9 v•自动化发送电子邮件到您的新客户7 D7 g. D3 J& [. _% M
•收获电子邮件与搜索引擎的帮助下（300+包括）
|8 ]9 F5 t) o! b; z•支持HTTPS网站
; k( h e% U& p/ F+ }•支持SSL唯一的电子邮件服务提供商（如谷歌邮件）! [# P; P3 S1 o7 F, ?! J Q
•内部SNMP服务器直接发送电子邮件/ G0 L1 [3 U/ D( P3 Q% H
•JavaScript的分析，找出保护的电子邮件地址 M9 o7 U( b* I& ?% M6 {6 F+ ~
保护•反蜘蛛引擎（例如随机用户代理）
$ H3 Y6 A) @; e! p•收集电子邮件，它们的附加数据（如地址）. ^* n! U* a) N9 W6 J7 ~, h
•许多过滤器只能提取你想要的电子邮件$ i8 x6 W: b0 E) ]" a e3 J8 p8 ~" Y
•非常快的处理（100个线程，你可以很容易地提取500个新邮件一分钟）- N+ C# G5 ^9 A) Z! J
•多语言支持（现在的英语和德语）; R2 ]2 T- r: B: P% \/ i
( ^1 n; H$ ?0 n+ z& Q8 `( s/ |4 m" V. e! P
这次分享的 email_spider是V5.3的crack版本，也几乎包含了上边所有的功能，可以从指定网址开始收集，也可以输入关键字收集，我在虚拟机中跑了一天，收集了大量的email。我用的虚拟机的配置是521M内存的，如果分配的大，可能获取的更多。如果想要收集更多，可以在多台vps上跑。! q4 X& }+ [. I. a: }
A( L) D7 M1 d: p$ i* B
* ~6 f/ ]' E& X, @: F w 程序跑起来比较稳定：/ N8 ^; U7 n5 \- x9 [
' _5 G+ l0 Z+ f
+ W; U- v. d3 |) ?7 b4 n 程序安装步骤：
; M; J$ n! @: |5 H" F. t1) 添加如下内容到hots文件中1 K) J8 m1 \: g( a
& a9 {1 i* Q7 {0 j& m6 a127.0.0.1 www.findsoftware.eu
, O) J) A; z9 s" i127.0.0.1 findsoftware.eu4 \& ?) E( [" a
127.0.0.1 www.rostock-schwarz.de
% g c& O, z9 r127.0.0.1 rostock-schwarz.de
9 ^4 a" U' q# J6 o* D127.0.0.1 www.gsa-online.de* I1 B, z) ^3 a c# u
127.0.0.1 gsa-online.de; I0 T! L9 u4 [- @( b! J# y' c. f
8 O! }4 D7 U1 v! j5 k
! d7 ?: h7 m3 \: n0 T2)执行 email_spider.exe: L4 X2 [! C6 E+ C" g
: c+ g4 v! \) A1 h9 j3 g% K6 `6 z0 j: L& I; {
3) 要求注册时，输入用户名和密码。3 C- A& l( n1 Z. c
; C/ J; e% q' T" j- ~& C, r2 v% D. D
Your license name is: MKDEV TEAM: F8 _5 u. B. w ^
Your license code is: L1E1-1437-I93N-L1KL
6 T- C. S& i2 J* G8 G4 M3 c" s/ g, r/ ], [1 Q2 A& w) b
1 c4 J: L- |, W K2 R# m
另外附一个收集来的emailList.见附件。2 o2 B0 _8 N( p9 _; }* c0 P5 ^/ e
程序下载地址：- http://pan.baidu.com/share/link?shareid=4049923560&uk=3825420230
, X* A3 k3 y% ]' _( I3 z& n9 t+ c R) r% O- r6 D
|
本帖子中包含更多资源
您需要 登录 才可以下载或查看，没有账号？立即注册
x
评分
-
查看全部评分
|
发表于 2013-8-22 09:49:57
发表于 2013-8-22 10:01:37
楼主
,why do say like this?
发表于 2013-8-22 10:10:51
发表于 2016-3-10 10:18:36