求推荐一个一键提取网站里面的URL且根据域名去重复的小...

guys

求推荐一个一键提取网站里面的URL且根据域名去重复的小工具
9 ?3 ^: E1 q: \比如：
% \) S9 B8 d- F1 }. y+ @http://a.com/b
5 ^, V4 w" u/ i; Q# @+ V+ c( P/ ghttp://a.com/bb.html
能自动去重复

李小冲

1. #region 抓取全站链接
   - g& N, E; l$ Y9 }$ Z
2.         public static List<string> GetAllHref(string url)
   
3.         {
   
4.             List<string> allHref = new List<string>();
   9 @$ {1 U% V4 ]) o% m* `
5.             try
   3 O  {% d; S$ i& @8 S# o2 @8 _/ k) u
6.             {
   4 F# t2 |, r+ v- _0 x5 _# I
7.                 string strhtml = soso.getHtml(url, "", true);
   
8.                 if (strhtml != "error")
   ( a5 y7 F/ p6 ]" r# A& D
9.                 {
   
10.                     Regex reg = new Regex(@"(?is)<a[^>]*?href=(['""]?)(?<url>[^'""\s>]+)\1[^>]*>(?<text>(?:(?!</?a\b).)*)</a>");
    / C) V3 p' I% o  A
11.                     MatchCollection mc = reg.Matches(strhtml);
    4 t8 q6 h% @- ]. q
12.                     foreach (Match m in mc)
    
13.                     {
    
14.                         Uri uri = new Uri(url);
    3 T3 U" d+ J, n+ K( b, C, M
15.                         Uri thisUri = new Uri(uri, m.Groups["url"].Value);
    
16.                         string fullUrl = "";
    
17.                         if (m.Groups["url"].Value.StartsWith("http"))
    5 x% [# q, k" V$ {( u3 U
18.                         {
    ; s7 B' ~& [6 S8 l5 B6 t
19.                             fullUrl = m.Groups["url"].Value;
    
20.                         }
    # W' ]& z+ ]9 h1 h" K
21.                         else
    
22.                         {
    
23.                             fullUrl = thisUri.ToString();
    
24.                         }
    6 K( {. U0 a3 o% i: P5 x- e# Q7 |( A
25.                         allHref.Add(fullUrl);
    : C( Z4 e/ h8 q! m
26.                         //Console.WriteLine("原链接：" + m.Groups["url"].Value);
    ( w% `3 |( ~" ^1 Q( c% t2 @7 }
27.                         //Console.WriteLine("文本标记：" + m.Groups["text"].Value);
    
28.                         //Console.WriteLine("补全链接：" + fullUrl);
    
29.                         //Console.WriteLine("…………………………………………");
    ' S, D5 I6 e' R( U* J
30.                     }
    3 i$ S+ U+ K8 \! V0 m9 O' F
31.                 }
    
32.             }
    
33.             catch (Exception ex)
    . z9 V% y3 J! X* U. A; Y
34.             { }
    * T2 \% N% B# `4 V6 q# M
35.             return allHref;
    
36.         }
    
37.         #endregion

复制代码

& g9 V' B1 K1 R
' U8 K6 D; u0 O/ l( n: ?

1. 
   
2. 
   " G% ?! q" H/ L* o% j
3. 
   
4. #region 数据去重
     e/ O2 F% g1 W' D5 K
5.         /// <summary>
   5 G* Z( Y1 h, }/ V
6.         /// List<string>去重
   * c* u4 I3 ~1 I: S+ W* i  G9 I
7.         /// </summary>
   3 G8 |& G+ n) Z- k
8.         /// <param name="list"></param>
   ( T: p( q$ g6 ^% U) l) t$ i
9.         /// <returns></returns>
   # s$ s' X) L, e' e
10.         public static List<string> getUnqueList(List<string> list)
    9 A8 I0 g, G* C
11.         {
    , }+ H- g  d% q3 q6 m
12.             List<string> list1 = new List<string>();
    
13.             Hashtable hash = new Hashtable();
    
14.             foreach (string s in list)
    
15.             {
    
16.                 if (!hash.ContainsKey(s))
    6 V3 O# k  K4 l- Q" I5 q
17.                 {
    : j4 h) e# L2 H  |# f: N
18.                     hash.Add(s, s);
    
19.                     list1.Add(s);
    4 I! }3 N8 p9 J/ A. h/ p
20.                 }
    
21.             }
    
22.             hash.Clear();
    
23.             hash = null;
    
24.             return list1;
    ! j9 C2 R: l! g
25.         }
    
26.         #endregion

复制代码

6 f/ ^" p2 X% P9 u& S! n# ~
. @' g, T4 D, H9 M& W, q/ P% P0 h

guys

李小冲 发表于 2016-2-26 16:17

十分感谢！！！非常感谢！！

李小冲

guys 发表于 2016-2-26 16:20
" G2 b* Y# V8 j十分感谢！！！非常感谢！！

缺少一个gethtml,用下面这个：
) V8 B. d; p4 {; c! ~

1.      public string getHtml(string url, string charSet, bool UseUTF8CharSet)//url是要访问的网站地址，charSet是目标网页的编码，如果传入的是null或者""，那就自动分析网页的编码
   
2.         {
   
3.             string strWebData = "error";
   
4.             try
   
5.             {
   & e  n9 f9 Q8 g& R6 S. Z8 J
6.                 WebClient myWebClient = new WebClient(); //创建WebClient实例myWebClient
   
7.                 // 需要注意的：
   
8.                 //有的网页可能下不下来，有种种原因比如需要cookie,编码问题等等
   , [8 X# O( [& W& y! [
9.                 //这是就要具体问题具体分析比如在头部加入cookie
   
10.                 // webclient.Headers.Add("Cookie", cookie);
    # L, J7 d% `) y: l& `
11.                 //这样可能需要一些重载方法。根据需要写就可以了
    ' h; P! B! T7 E, e( C$ r
12.                 myWebClient.Headers.Add("User-agent", "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)");
    1 _3 v* S4 b$ ]" i! N# w' F5 d6 q/ v- g
13.                 //myWebClient.Headers.Add("User-agent", "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)");
    
14.                 //获取或设置用于对向 Internet 资源的请求进行身份验证的网络凭据。
    
15.                 myWebClient.Credentials = CredentialCache.DefaultCredentials;
    
16.                 //如果服务器要验证用户名,密码
    4 x/ o& R# I2 q) f6 A0 @, I
17.                 //NetworkCredential mycred = new NetworkCredential(struser, strpassword);
    
18.                 //myWebClient.Credentials = mycred;
    2 T; H; D! d' M: ^- Y
19.                 //从资源下载数据并返回字节数组。（加@是因为网址中间有"/"符号）
    " H3 C7 C4 r9 @+ ~$ t8 h4 j
20.                 byte[] myDataBuffer = myWebClient.DownloadData(url);
    
21.                 strWebData = Encoding.Default.GetString(myDataBuffer);
    
22. 
    ! {2 p! F8 X  S3 K8 L( ^- A
23.                 //获取网页字符编码描述信息
    
24.                 Match charSetMatch = Regex.Match(strWebData, "<meta([^<]*)charset=([^<]*)"", RegexOptions.IgnoreCase | RegexOptions.Multiline);
    9 U. Z0 `7 e6 M* N  b9 G- j( h
25.                 string webCharSet = charSetMatch.Groups[2].Value;
    
26.                 if (charSet == null || charSet == "")
    
27.                     charSet = webCharSet;
    
28.                 if (charSet.Length > 0)
    
29.                 {
    
30.                     charSet = charSet.Replace(""", "");
    2 b) G& v0 X* s' E* M# N! \) [# \
31.                 }
    3 F# z5 k3 T) }  h9 ^  k
32.                 if (UseUTF8CharSet)
    
33.                 {
    / S' d, |% x+ w, K9 K
34.                     if (charSet == null || charSet.Length == 0)
    
35.                     {
    ; J& H0 j' u% e$ e2 p  e
36.                         charSet = "utf-8";
    8 E) V) }4 e1 L; j2 `5 H9 t" T
37.                     }
    6 J' s* K1 A: g7 Z- X' p& @7 Z
38.                 }
    
39.                 if (charSet != null && charSet != "" && Encoding.GetEncoding(charSet) != Encoding.Default)
    
40.                     strWebData = Encoding.GetEncoding(charSet).GetString(myDataBuffer);
    / |4 z8 p7 d! A+ C3 I& I
41. 
    ) I: {4 E4 T% B5 m
42.             }
    , T& J1 W. ~/ N/ U. v
43.             catch (Exception)
    
44.             {
    
45.                 strWebData = "error";
    
46.             }
    , @5 j2 v1 Q$ X. U
47. 
    
48.             return strWebData;
    
49.         }

复制代码

PowcAncn

weishaneweishane