|
|
本帖最后由 finder 于 2014-12-28 15:24 编辑
. z: V) d# t* @: w
8 B# Q' _$ s9 N. t; u- J9 c" L 以前自己写过一个采集阿里巴巴商家email，电话，公司名称和职位的一个爬虫程序。感觉这个邮件采集程序的原理和我原来采用的一样，都是采用多线程，发起httpget请求，对返回结果用正则表达式匹配href，和自己需要找的邮件，电话啥的。然后再以这个href List为基础继续发起http get请求，如此，循环。则可以爬遍整个互联网。这是小弟自己的看法，望大神多多指点！
9 L5 f3 D+ ]! D3 _6 Y( t
% g) O+ g, Q. r c email_spider是使用比较多的一个邮箱采集程序。官方网址是：- http://email.spider.gsa-online.de/
: \. X2 |7 G. |/ g5 | P# \ 程序的功能包括：
$ j. K. Q9 i2 q0 f•从起始网站提取电子邮件+ e; O0 ]( a: c$ i. s* W
•除了电子邮件采集，电话和传真号码，您可以搜索, t; G) ]8 D5 c
•自动化发送电子邮件到您的新客户8 @" Y" }% z- V& u& J" \
•收获电子邮件与搜索引擎的帮助下（300+包括）
: z' l) }* }& N% T; w•支持HTTPS网站9 Q7 ~' o% i3 ]6 y5 r/ Y& L2 c
•支持SSL唯一的电子邮件服务提供商（如谷歌邮件）
; a( o b8 E3 }0 ? Q7 T. F•内部SNMP服务器直接发送电子邮件
* E% n4 A1 S3 Q6 b$ }9 p•JavaScript的分析，找出保护的电子邮件地址
4 P5 R8 m) T: |保护•反蜘蛛引擎（例如随机用户代理）
" |* g6 X! G/ k7 l- \- Y•收集电子邮件，它们的附加数据（如地址）
" |4 g% k+ ^# t•许多过滤器只能提取你想要的电子邮件
! ^/ C' s, A( W N/ }•非常快的处理（100个线程，你可以很容易地提取500个新邮件一分钟）
0 F+ [0 X* _% i1 n5 |7 j o: C•多语言支持（现在的英语和德语）/ T3 ^1 A) J, m" ~
e |* ?6 A2 E: ~4 c( v$ K2 c
3 L3 y/ L$ ?% Z5 x y$ d- c
这次分享的 email_spider是V5.3的crack版本，也几乎包含了上边所有的功能，可以从指定网址开始收集，也可以输入关键字收集，我在虚拟机中跑了一天，收集了大量的email。我用的虚拟机的配置是521M内存的，如果分配的大，可能获取的更多。如果想要收集更多，可以在多台vps上跑。! x1 \9 d# q* U$ o- S% g" U3 g0 M
# h, n) [$ _' z$ j
" ~+ F) G, B+ V2 o
程序跑起来比较稳定：
" D* X# m8 d& j7 g U: A " u; B8 L' a o$ g0 R! `# y6 ]* k8 `
1 O, O' u Y& `. X
程序安装步骤：1 ^& y& d$ h6 n
1) 添加如下内容到hots文件中* x1 U, e2 E" u1 G% r
1 ?" s4 d( y" y8 J127.0.0.1 www.findsoftware.eu8 h! `, E& \' b- J6 P- Y9 n3 T- ]
127.0.0.1 findsoftware.eu; w$ k2 p5 x: ]! l/ q
127.0.0.1 www.rostock-schwarz.de$ t0 U5 K% b+ b) F# m. g" ~7 D+ X
127.0.0.1 rostock-schwarz.de
: v; T( a1 |. T- Y, C7 v127.0.0.1 www.gsa-online.de
- s6 T! a9 [! j' l+ m! j127.0.0.1 gsa-online.de
' i- j" H! B8 L" A2 ^0 T4 H6 p" @% ~5 B9 _) E! t
( s) J4 A) [) Z4 ^2)执行 email_spider.exe- S, l7 u6 f/ ?
3 o! i2 t# N: w: c3 e/ _- R9 U9 C; L Q2 O
3) 要求注册时，输入用户名和密码。) I2 _/ z3 G7 j1 [
+ v# C9 A$ V7 n/ l" |0 C
Your license name is: MKDEV TEAM
7 I, s' Q5 `- TYour license code is: L1E1-1437-I93N-L1KL
' l6 T- d+ ?9 y4 J j, A) Y5 _$ O* J: B6 D
8 g4 ~% c. M' f5 x2 t1 d
另外附一个收集来的emailList.见附件。
3 [8 l9 M3 J+ O1 H/ t7 l& c/ N" a程序下载地址：- http://pan.baidu.com/share/link?shareid=4049923560&uk=3825420230
c! {! S5 o- T
1 }$ K9 H( }( ~
|
本帖子中包含更多资源
您需要 登录 才可以下载或查看，没有账号？立即注册
x
评分
-
查看全部评分
|
发表于 2013-8-22 09:49:57
发表于 2013-8-22 10:01:37
楼主
,why do say like this?
发表于 2013-8-22 10:10:51
发表于 2016-3-10 10:18:36