求推荐一个一键提取网站里面的URL且根据域名去重复的小...

guys

求推荐一个一键提取网站里面的URL且根据域名去重复的小工具
比如：
# s+ G# \+ B5 S4 ?http://a.com/b
/ G% V) ]2 Y+ n. O) ^http://a.com/bb.html
能自动去重复
! D1 @( z' m. F& C8 `

李小冲

1. #region 抓取全站链接
   # W* {9 ^; S) b: J0 G7 A# D% y  Q
2.         public static List<string> GetAllHref(string url)
   8 \& d, w7 `2 M+ m
3.         {
   9 A5 Q4 R3 T' U! B: `9 e7 |5 l
4.             List<string> allHref = new List<string>();
   
5.             try
   
6.             {
   7 i) J6 p% W0 g" x5 |4 b
7.                 string strhtml = soso.getHtml(url, "", true);
   
8.                 if (strhtml != "error")
   7 v# V: Z# O- N
9.                 {
   
10.                     Regex reg = new Regex(@"(?is)<a[^>]*?href=(['""]?)(?<url>[^'""\s>]+)\1[^>]*>(?<text>(?:(?!</?a\b).)*)</a>");
    # ~1 E: f: d. c6 d' R/ d2 ?* i
11.                     MatchCollection mc = reg.Matches(strhtml);
    
12.                     foreach (Match m in mc)
    9 M- |9 ?9 P1 R; T& ]* r
13.                     {
    % u8 r7 b" i: ~; t4 K
14.                         Uri uri = new Uri(url);
    
15.                         Uri thisUri = new Uri(uri, m.Groups["url"].Value);
    
16.                         string fullUrl = "";
    
17.                         if (m.Groups["url"].Value.StartsWith("http"))
    5 N% H/ z. k2 U' g2 Y
18.                         {
    3 x6 v% Y! h8 c# k$ u8 n2 X% \# b% p- I
19.                             fullUrl = m.Groups["url"].Value;
    
20.                         }
    
21.                         else
    % b  ~7 d% S/ y5 B7 `7 P
22.                         {
    : L9 W. w7 l$ u: N, o6 A
23.                             fullUrl = thisUri.ToString();
    ' y+ r) @5 Z: m9 B; A
24.                         }
    4 Q. Y  ?- v, `7 a) t3 T  _1 [- U
25.                         allHref.Add(fullUrl);
    - a6 R' m5 |9 `, B- Q% o6 a, z
26.                         //Console.WriteLine("原链接：" + m.Groups["url"].Value);
    & o* X" I) T3 w+ h* e7 M) O0 l
27.                         //Console.WriteLine("文本标记：" + m.Groups["text"].Value);
    
28.                         //Console.WriteLine("补全链接：" + fullUrl);
    . _, D6 d/ }+ K  z% N+ o" o. W
29.                         //Console.WriteLine("…………………………………………");
    
30.                     }
    
31.                 }
    
32.             }
    # Z5 |# ^2 U- D2 H6 t5 V1 Z
33.             catch (Exception ex)
    % ^' |, W8 ^, R3 o5 r
34.             { }
    ) o9 F; A" ^, K" M. T/ U3 `2 y. K
35.             return allHref;
    5 b  o( k$ u% r" |) n) T4 V
36.         }
    
37.         #endregion

复制代码

: X' Y( Y$ x5 m5 x5 R

1. 
   ' T) Q) G# K! M
2. 
   
3. 
   
4. #region 数据去重
     A6 U! g4 {- Y+ o3 D7 T
5.         /// <summary>
   / I* l6 B8 J- |- R; a3 A/ q6 R
6.         /// List<string>去重
   
7.         /// </summary>
   
8.         /// <param name="list"></param>
   # j6 n$ c( n$ H& z
9.         /// <returns></returns>
   
10.         public static List<string> getUnqueList(List<string> list)
    1 {: `  G3 ], E  q" Q
11.         {
    - W/ ^% c: Y0 U: k+ [- L; n, P7 t
12.             List<string> list1 = new List<string>();
    
13.             Hashtable hash = new Hashtable();
    
14.             foreach (string s in list)
    5 H& I" w2 }7 N0 s$ R
15.             {
    
16.                 if (!hash.ContainsKey(s))
    5 `- h! X0 K2 h/ \' K
17.                 {
    4 w# x: `  R9 ^4 X& z  V
18.                     hash.Add(s, s);
    
19.                     list1.Add(s);
    
20.                 }
    
21.             }
    
22.             hash.Clear();
    
23.             hash = null;
    * n7 l: ~* s: ~' \! w$ j  X
24.             return list1;
    . i" U" E# [* n0 @& J
25.         }
    
26.         #endregion

复制代码

- {, ^: p& F( \( _8 @2 L' S- n

guys

李小冲 发表于 2016-2-26 16:17

5 a- J, R$ Z8 U# N" t5 B' b十分感谢！！！非常感谢！！

李小冲

guys 发表于 2016-2-26 16:20
& x, ~& e) K, b: [$ O; D' E十分感谢！！！非常感谢！！

" I$ {: A& d3 u缺少一个gethtml,用下面这个：
7 N; H* ~& w% I  F- L

1.      public string getHtml(string url, string charSet, bool UseUTF8CharSet)//url是要访问的网站地址，charSet是目标网页的编码，如果传入的是null或者""，那就自动分析网页的编码
   5 [8 d/ S6 \! E& o: {7 k. h4 e& K
2.         {
   
3.             string strWebData = "error";
   
4.             try
   ' f* K1 r  l; r3 }& ~) K# B
5.             {
   - m6 J3 d0 w' B$ e3 t
6.                 WebClient myWebClient = new WebClient(); //创建WebClient实例myWebClient
   7 X4 T$ y1 E* E
7.                 // 需要注意的：
   / L6 M1 }3 L" L6 A' M
8.                 //有的网页可能下不下来，有种种原因比如需要cookie,编码问题等等
   8 }0 l6 B6 u) z/ v: S$ G1 Z
9.                 //这是就要具体问题具体分析比如在头部加入cookie
   3 i  S/ I, q* z0 [" |; F
10.                 // webclient.Headers.Add("Cookie", cookie);
    * t- W7 I% q" a: p8 [
11.                 //这样可能需要一些重载方法。根据需要写就可以了
    
12.                 myWebClient.Headers.Add("User-agent", "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)");
    # K) K5 R% S, f8 u, ?2 t
13.                 //myWebClient.Headers.Add("User-agent", "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)");
    . x. P" Y5 f" y
14.                 //获取或设置用于对向 Internet 资源的请求进行身份验证的网络凭据。
    3 v0 Z6 W# e" @3 C
15.                 myWebClient.Credentials = CredentialCache.DefaultCredentials;
    8 M- j! J2 d% @# B0 [4 T
16.                 //如果服务器要验证用户名,密码
    - A  s+ U8 }6 @% D7 l. h' f) r) M% ~
17.                 //NetworkCredential mycred = new NetworkCredential(struser, strpassword);
    ( w  S* k- E* Z
18.                 //myWebClient.Credentials = mycred;
    6 ^5 R' m" `( \, J
19.                 //从资源下载数据并返回字节数组。（加@是因为网址中间有"/"符号）
    
20.                 byte[] myDataBuffer = myWebClient.DownloadData(url);
    ' l( Y: c  O' |* c/ P
21.                 strWebData = Encoding.Default.GetString(myDataBuffer);
    + ]( Y/ `- Q: F0 m/ a' I  d
22. 
    " J! ]3 |4 i4 t; J
23.                 //获取网页字符编码描述信息
      d) ~: v' [4 j/ s" [3 o
24.                 Match charSetMatch = Regex.Match(strWebData, "<meta([^<]*)charset=([^<]*)"", RegexOptions.IgnoreCase | RegexOptions.Multiline);
    1 |6 B: o! q8 e8 O4 x, A. }  Z
25.                 string webCharSet = charSetMatch.Groups[2].Value;
    ; \9 |0 w" U( w# e& V- \$ E$ x
26.                 if (charSet == null || charSet == "")
    0 r. |  u/ Z3 T1 _/ g
27.                     charSet = webCharSet;
    ) J9 U0 J2 M5 _
28.                 if (charSet.Length > 0)
    ! u* I* C8 Y& {* ]+ Q" i
29.                 {
    & Y0 U& r& S. r6 V
30.                     charSet = charSet.Replace(""", "");
    " j( s7 a+ H% t6 F. |% ]4 ?( Z
31.                 }
    3 Y9 E$ m6 O# F7 O+ \3 H
32.                 if (UseUTF8CharSet)
    
33.                 {
    ; E9 _& b$ Y0 f) ^/ ~$ {
34.                     if (charSet == null || charSet.Length == 0)
      `# o, E) Z6 _
35.                     {
    0 o; ~$ X2 ?( y
36.                         charSet = "utf-8";
    1 U7 b3 ]2 T0 w% A4 R
37.                     }
    
38.                 }
    
39.                 if (charSet != null && charSet != "" && Encoding.GetEncoding(charSet) != Encoding.Default)
    
40.                     strWebData = Encoding.GetEncoding(charSet).GetString(myDataBuffer);
    
41. 
    " l# e, ^! r* W1 I$ p
42.             }
    
43.             catch (Exception)
    
44.             {
    
45.                 strWebData = "error";
    1 ]5 @# W- V3 ], u1 f
46.             }
    ! _, ]; @; y3 Z5 j; Y
47. 
    : ?" A" d4 i% F+ P
48.             return strWebData;
    , n2 x- _0 }( {) R& S: O
49.         }

复制代码

& \3 f, Z3 s9 @6 v; q3 u

PowcAncn

weishaneweishane