求推荐一个一键提取网站里面的URL且根据域名去重复的小...

guys

求推荐一个一键提取网站里面的URL且根据域名去重复的小工具
比如：
6 ]: |' B: Z" C' o8 J$ `2 `http://a.com/b
% I7 p8 F0 ~% ]7 Xhttp://a.com/bb.html
能自动去重复

李小冲

1. #region 抓取全站链接
   % Q# F) r9 I1 V. j2 `
2.         public static List<string> GetAllHref(string url)
   ; A# s0 f4 m0 l: ^$ _
3.         {
   8 ?. E3 p, ?( {$ Z7 d  h
4.             List<string> allHref = new List<string>();
   
5.             try
   $ M) D4 A( W! \/ ]/ N2 }
6.             {
   
7.                 string strhtml = soso.getHtml(url, "", true);
   
8.                 if (strhtml != "error")
   
9.                 {
   7 s& n9 X; ^8 x: u
10.                     Regex reg = new Regex(@"(?is)<a[^>]*?href=(['""]?)(?<url>[^'""\s>]+)\1[^>]*>(?<text>(?:(?!</?a\b).)*)</a>");
    - d/ N1 n: y  h3 B, E2 h
11.                     MatchCollection mc = reg.Matches(strhtml);
    - ^1 T. f/ ~3 s! o$ m! l
12.                     foreach (Match m in mc)
    9 L3 Q9 w) v9 _9 I
13.                     {
    $ l8 d2 c0 k. a- {) n1 o
14.                         Uri uri = new Uri(url);
    
15.                         Uri thisUri = new Uri(uri, m.Groups["url"].Value);
    7 @6 O0 s! `/ V) `& l  g3 V
16.                         string fullUrl = "";
    / k! S6 G6 ^2 v5 k7 h% ^; U$ Q
17.                         if (m.Groups["url"].Value.StartsWith("http"))
    
18.                         {
    
19.                             fullUrl = m.Groups["url"].Value;
    
20.                         }
    + f  a( p1 S( H4 f  V4 L9 @
21.                         else
    ' w9 c- Q$ \2 q' i
22.                         {
    * ]# M% n. N2 P' j
23.                             fullUrl = thisUri.ToString();
    6 F% v( o0 p: B
24.                         }
    
25.                         allHref.Add(fullUrl);
    
26.                         //Console.WriteLine("原链接：" + m.Groups["url"].Value);
    , U1 G) L9 [: s$ q( X' D, ?3 i; M
27.                         //Console.WriteLine("文本标记：" + m.Groups["text"].Value);
    
28.                         //Console.WriteLine("补全链接：" + fullUrl);
    
29.                         //Console.WriteLine("…………………………………………");
    6 I2 T: y/ \1 @
30.                     }
    7 y  L2 v9 p9 i2 V
31.                 }
    ! I/ H' l/ E9 J& h0 f
32.             }
    
33.             catch (Exception ex)
    & A0 Z, t2 R( o$ t( [. q2 k/ u1 s
34.             { }
    ! \! k+ T# |4 r" ^; ?3 E- ]
35.             return allHref;
    
36.         }
    
37.         #endregion

复制代码

2 L5 W# }2 t/ |# C
8 H. ~% K) \5 S! m! G* n! y

1. 
   . [1 I" f: z, E8 C# U/ z$ m
2. 
   
3. 
   
4. #region 数据去重
   
5.         /// <summary>
   / Q) m3 B+ H+ G5 M" l' f& w1 c" ?
6.         /// List<string>去重
   
7.         /// </summary>
   1 i0 c# K- z+ \
8.         /// <param name="list"></param>
   
9.         /// <returns></returns>
   0 t8 U, d3 H' M' S  V4 V
10.         public static List<string> getUnqueList(List<string> list)
    6 A, k5 \4 B1 E( b# U$ F( p0 R
11.         {
    
12.             List<string> list1 = new List<string>();
    4 K4 s  n. o' w% s+ E( ^% B* u
13.             Hashtable hash = new Hashtable();
    ' V6 P0 @  }6 {0 o3 ~
14.             foreach (string s in list)
    
15.             {
    
16.                 if (!hash.ContainsKey(s))
    
17.                 {
    
18.                     hash.Add(s, s);
    
19.                     list1.Add(s);
    
20.                 }
    
21.             }
    2 |1 `- e3 E4 [* _
22.             hash.Clear();
    * X( `: c. I4 U9 R. G; C/ \
23.             hash = null;
    ( v. [9 K: b$ p" P- u9 u2 b2 i0 x2 j
24.             return list1;
    # m3 I) {  R: j, L, n
25.         }
    
26.         #endregion

复制代码

guys

李小冲 发表于 2016-2-26 16:17

, p4 I0 C1 ?! \' t' g5 T1 u4 a十分感谢！！！非常感谢！！

李小冲

guys 发表于 2016-2-26 16:20
  O: @- D& a- _* _! g# R/ W十分感谢！！！非常感谢！！

缺少一个gethtml,用下面这个：

1.      public string getHtml(string url, string charSet, bool UseUTF8CharSet)//url是要访问的网站地址，charSet是目标网页的编码，如果传入的是null或者""，那就自动分析网页的编码
   ) n! s$ ^$ u- j
2.         {
   
3.             string strWebData = "error";
   
4.             try
   2 N  T( G; D7 X! ]; k' e! Z
5.             {
   5 ]; w' ~; ]6 Q: Y4 ~, L( e4 ^
6.                 WebClient myWebClient = new WebClient(); //创建WebClient实例myWebClient
   7 A; J7 f, n5 i, }
7.                 // 需要注意的：
   * w! X# \. Z- I  b. E" u
8.                 //有的网页可能下不下来，有种种原因比如需要cookie,编码问题等等
   
9.                 //这是就要具体问题具体分析比如在头部加入cookie
   
10.                 // webclient.Headers.Add("Cookie", cookie);
    " Z; Q2 u1 g9 B: |( M) F0 z4 Y* m
11.                 //这样可能需要一些重载方法。根据需要写就可以了
    
12.                 myWebClient.Headers.Add("User-agent", "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)");
    8 f8 f- }, c5 G! V3 F
13.                 //myWebClient.Headers.Add("User-agent", "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)");
    
14.                 //获取或设置用于对向 Internet 资源的请求进行身份验证的网络凭据。
    ) W+ N& T: s7 e! g% e# W4 U
15.                 myWebClient.Credentials = CredentialCache.DefaultCredentials;
    
16.                 //如果服务器要验证用户名,密码
    2 |" _/ W9 y9 t2 R- l0 I+ V
17.                 //NetworkCredential mycred = new NetworkCredential(struser, strpassword);
    
18.                 //myWebClient.Credentials = mycred;
    3 V9 l7 q1 _' x/ A
19.                 //从资源下载数据并返回字节数组。（加@是因为网址中间有"/"符号）
    
20.                 byte[] myDataBuffer = myWebClient.DownloadData(url);
    * y- }- d1 A1 S+ {& H" P7 o
21.                 strWebData = Encoding.Default.GetString(myDataBuffer);
    
22. 
    . W% z5 o  U0 T- ~% b+ B, v7 o
23.                 //获取网页字符编码描述信息
    
24.                 Match charSetMatch = Regex.Match(strWebData, "<meta([^<]*)charset=([^<]*)"", RegexOptions.IgnoreCase | RegexOptions.Multiline);
    , y* h% i, F4 Q! C8 H4 L# C. L
25.                 string webCharSet = charSetMatch.Groups[2].Value;
    
26.                 if (charSet == null || charSet == "")
    3 ?: B$ K! F! P0 Q( T( _
27.                     charSet = webCharSet;
    
28.                 if (charSet.Length > 0)
    ) j9 e  S) t% E  r  H& M
29.                 {
    * l1 p: H; p5 L
30.                     charSet = charSet.Replace(""", "");
    
31.                 }
    
32.                 if (UseUTF8CharSet)
    
33.                 {
    7 P! Y5 E' }# `2 a; p. M
34.                     if (charSet == null || charSet.Length == 0)
    
35.                     {
    - k! T5 b3 Z* k* |0 r/ }- V
36.                         charSet = "utf-8";
    5 a7 z" V. r: K, k& X. R) j  F% t9 b$ Q
37.                     }
    ! D" R" n# O0 c" y2 X/ q
38.                 }
    
39.                 if (charSet != null && charSet != "" && Encoding.GetEncoding(charSet) != Encoding.Default)
    
40.                     strWebData = Encoding.GetEncoding(charSet).GetString(myDataBuffer);
    ) b9 r; T. \1 P
41. 
    
42.             }
    : c! a# h( b6 H
43.             catch (Exception)
    
44.             {
    ( X+ P; A) B' K7 `( n0 ^( y
45.                 strWebData = "error";
    
46.             }
    4 U& \& j% J8 f1 Y3 W" C2 Y
47. 
    ) X% k' F& j; [, z. P8 T% R
48.             return strWebData;
    0 L0 Z+ G' R* I1 A. y' t9 v
49.         }

复制代码

$ {5 S" E1 a# [# \  j, Q: d

PowcAncn

weishaneweishane