|
|
本帖最后由 finder 于 2014-12-28 15:24 编辑
% X5 ^7 E' V4 h n& ~6 p1 _! ^% F2 W4 z1 C& l8 S5 s( j
以前自己写过一个采集阿里巴巴商家email，电话，公司名称和职位的一个爬虫程序。感觉这个邮件采集程序的原理和我原来采用的一样，都是采用多线程，发起httpget请求，对返回结果用正则表达式匹配href，和自己需要找的邮件，电话啥的。然后再以这个href List为基础继续发起http get请求，如此，循环。则可以爬遍整个互联网。这是小弟自己的看法，望大神多多指点！
" L6 Y* @8 K7 u( w
% n; Y6 P0 Z7 A1 M3 y email_spider是使用比较多的一个邮箱采集程序。官方网址是：- http://email.spider.gsa-online.de/
程序的功能包括：
7 L3 [& ^4 D% X* z$ x4 r, i•从起始网站提取电子邮件
& A- v/ Y+ _" i) ~8 r•除了电子邮件采集，电话和传真号码，您可以搜索
0 i# n8 A9 I& Z•自动化发送电子邮件到您的新客户% H! J5 I" \0 z
•收获电子邮件与搜索引擎的帮助下（300+包括）) {6 O3 g# u$ e$ }( h
•支持HTTPS网站; q. c! N2 j, B6 F m
•支持SSL唯一的电子邮件服务提供商（如谷歌邮件）
0 D5 I: B' i1 y•内部SNMP服务器直接发送电子邮件
% h) [2 C7 {! L, l) ]& ]3 M•JavaScript的分析，找出保护的电子邮件地址; ^' b6 E* O( F3 q+ t6 p8 ]
保护•反蜘蛛引擎（例如随机用户代理）
9 C. \" j) Z# n- |! ~$ t•收集电子邮件，它们的附加数据（如地址）( ?6 h8 @) }) U
•许多过滤器只能提取你想要的电子邮件
: o5 k. a! z3 g. l•非常快的处理（100个线程，你可以很容易地提取500个新邮件一分钟）
: C) @: A3 q0 ~ i•多语言支持（现在的英语和德语）
4 ~0 f" z, G3 o8 f( O
2 p) T- W7 m9 ^! ~, p' n
4 H& G" l2 h/ O 这次分享的 email_spider是V5.3的crack版本，也几乎包含了上边所有的功能，可以从指定网址开始收集，也可以输入关键字收集，我在虚拟机中跑了一天，收集了大量的email。我用的虚拟机的配置是521M内存的，如果分配的大，可能获取的更多。如果想要收集更多，可以在多台vps上跑。
1 H" `, B$ N8 u k* D. k% D
: R7 b: f7 l2 C8 L e. y
5 @9 n5 f$ ?# a# q# D3 ?5 P 程序跑起来比较稳定：
3 Y9 t3 h5 s& i1 y/ g
- j# _4 H3 B, h9 y! d
( c$ t3 g- F( o- `+ @ 程序安装步骤：
0 d/ L, n& ?) v$ C8 X$ b% _1) 添加如下内容到hots文件中
9 P6 V2 @ C r. U" `- y, z! \) b- J" _* Y- |3 P l
127.0.0.1 www.findsoftware.eu. C# t! v3 ?) X& |; q, w: \5 ~) Z
127.0.0.1 findsoftware.eu5 F7 }2 H6 A. q2 p, } H3 s
127.0.0.1 www.rostock-schwarz.de
2 s4 p1 e6 r9 }3 L127.0.0.1 rostock-schwarz.de! t& b& y) z) x
127.0.0.1 www.gsa-online.de: z* ?5 E+ J1 w" i* `
127.0.0.1 gsa-online.de
( c5 M6 z5 \. ~: e/ B' I6 `: m5 r* n8 t$ q
$ |" D a7 r( v) d4 ^9 N% e+ ?: k
2)执行 email_spider.exe
- i/ A0 r% n+ [0 T A/ p* D
$ ]; B- K# K- E$ n9 A* H2 G i1 r Y4 c3 }7 ]/ C
3) 要求注册时，输入用户名和密码。& o/ T$ ?- A" I7 @* v5 m+ g8 P
5 J/ x4 O9 Q+ ]! l& T' X8 x/ p j
Your license name is: MKDEV TEAM
) ?1 c2 y3 m+ zYour license code is: L1E1-1437-I93N-L1KL0 }$ c/ ~7 F6 p. U U( m7 z
, Q3 w5 X* w2 c# Q! m* } Z
/ J- g4 c' t6 b" `% z/ G% t/ C0 m另外附一个收集来的emailList.见附件。
+ Y; s ?0 e1 W3 h程序下载地址：- http://pan.baidu.com/share/link?shareid=4049923560&uk=3825420230
: o* `+ j6 L( Y2 c; c' k6 U$ q! R7 Z$ r
. F6 i4 }; t! @* K2 k
9 K- Z6 P6 |$ k) U$ j" T |
本帖子中包含更多资源
您需要 登录 才可以下载或查看，没有账号？立即注册
×
评分
-
查看全部评分
|
发表于 2013-8-22 09:49:57
发表于 2013-8-22 10:01:37
,why do say like this?
发表于 2013-8-22 10:10:51
发表于 2016-3-10 10:18:36