|
|
本帖最后由 finder 于 2014-12-28 15:24 编辑
$ u4 }1 p, p! J/ u8 K4 w! }) Y, l5 Y/ N
以前自己写过一个采集阿里巴巴商家email，电话，公司名称和职位的一个爬虫程序。感觉这个邮件采集程序的原理和我原来采用的一样，都是采用多线程，发起httpget请求，对返回结果用正则表达式匹配href，和自己需要找的邮件，电话啥的。然后再以这个href List为基础继续发起http get请求，如此，循环。则可以爬遍整个互联网。这是小弟自己的看法，望大神多多指点！4 `& i! ~% y& j' S% E2 k
: D- @# G1 L$ ~ email_spider是使用比较多的一个邮箱采集程序。官方网址是：- http://email.spider.gsa-online.de/
% p- ~, O/ C( f4 |! D, j 程序的功能包括：
% [: I, J* N8 @' U3 G0 @& |•从起始网站提取电子邮件2 t; g, N, X9 h( S
•除了电子邮件采集，电话和传真号码，您可以搜索
7 \/ \+ H3 @6 w3 i9 ]" r•自动化发送电子邮件到您的新客户- E% v: E) ?9 E5 P* ]" p
•收获电子邮件与搜索引擎的帮助下（300+包括）
3 |6 q3 H2 _- |9 z0 S' C! ]•支持HTTPS网站9 q6 R* t9 k* k% T' \2 g* Q
•支持SSL唯一的电子邮件服务提供商（如谷歌邮件）
& q8 m5 w( F2 d9 @3 ^•内部SNMP服务器直接发送电子邮件! d% ?/ j1 }9 P/ Q/ {1 {
•JavaScript的分析，找出保护的电子邮件地址
& E. u1 R' }9 B$ ^; u5 ]保护•反蜘蛛引擎（例如随机用户代理）
$ v" ~, `4 S6 j•收集电子邮件，它们的附加数据（如地址）3 p) C$ {6 \$ Z* z' n: I2 F
•许多过滤器只能提取你想要的电子邮件
3 \( ?7 y7 J( Y- N% }! }- z9 W•非常快的处理（100个线程，你可以很容易地提取500个新邮件一分钟）
, _7 `- _( w6 l•多语言支持（现在的英语和德语）7 @3 E: q1 W- M6 w
2 Q; m2 [6 B6 X' Q. b
1 D1 E% {! I |" J 这次分享的 email_spider是V5.3的crack版本，也几乎包含了上边所有的功能，可以从指定网址开始收集，也可以输入关键字收集，我在虚拟机中跑了一天，收集了大量的email。我用的虚拟机的配置是521M内存的，如果分配的大，可能获取的更多。如果想要收集更多，可以在多台vps上跑。
" ?" l1 K7 E/ A; [4 X" N& x3 e% e7 G* R! N; p; o
+ Z1 V! Y5 e- K- a9 E/ _+ w1 L) c
程序跑起来比较稳定：, G6 z6 {- i$ W
% r6 L; {* |- A; {8 k, k" h6 M8 q( d8 Q% a
程序安装步骤：+ M- m: D, ]1 c6 o
1) 添加如下内容到hots文件中
4 n0 A; g; F2 S' g* _7 D! q( q1 a8 a1 U7 |( B
127.0.0.1 www.findsoftware.eu
: R0 N8 V; ^/ d* X127.0.0.1 findsoftware.eu
5 o+ C0 w3 Z# l127.0.0.1 www.rostock-schwarz.de& a6 F0 c2 Z/ _1 b' M# M5 z
127.0.0.1 rostock-schwarz.de. Y1 b. f! R- n: \. k; b
127.0.0.1 www.gsa-online.de+ t+ c$ i: a" E& W( O7 X
127.0.0.1 gsa-online.de% Y6 ?4 Z1 w9 q
8 y# {3 p1 [9 Q" o4 n2 q5 [% d
9 Q) K8 R0 i0 G/ {" u& ^% u2 b
2)执行 email_spider.exe
9 [* P0 a( u2 [8 v! J$ p& M* U5 F, g1 e; D2 e8 I
( k% A' M# E6 { o- _3) 要求注册时，输入用户名和密码。* ~2 G8 y- h4 z* x; r3 V
4 P1 N2 E$ t; |) h# tYour license name is: MKDEV TEAM: c3 `1 E, G5 W' k- K0 E) M
Your license code is: L1E1-1437-I93N-L1KL
: G7 I3 p( B& a0 x1 z
: @* A& s9 r9 I" b5 J& e6 v
* v1 m5 ]& C: p7 F; s. |* V" j另外附一个收集来的emailList.见附件。 c9 s2 i" H# V
程序下载地址：- http://pan.baidu.com/share/link?shareid=4049923560&uk=3825420230
$ j, J* l9 i: I* U1 Z5 S
, [& }) E+ G# ^( Z* B) e3 t
@. J( P7 @! ` |
本帖子中包含更多资源
您需要 登录 才可以下载或查看，没有账号？立即注册
x
评分
-
查看全部评分
|
发表于 2013-8-22 09:49:57
发表于 2013-8-22 10:01:37
楼主
,why do say like this?
发表于 2013-8-22 10:10:51
发表于 2016-3-10 10:18:36