求推荐一个一键提取网站里面的URL且根据域名去重复的小...

guys

求推荐一个一键提取网站里面的URL且根据域名去重复的小工具
/ Q6 z( S# k( A& F9 C比如：
, r" h) V4 r% \9 B5 ~8 Lhttp://a.com/b
http://a.com/bb.html
能自动去重复

李小冲

1. #region 抓取全站链接
   5 F. G. j. x; k, Q9 v
2.         public static List<string> GetAllHref(string url)
   
3.         {
   - c  l; h" G8 g/ D* u0 F
4.             List<string> allHref = new List<string>();
   ( t. p* L5 ~0 ~' t7 M! R
5.             try
   
6.             {
   
7.                 string strhtml = soso.getHtml(url, "", true);
   
8.                 if (strhtml != "error")
   
9.                 {
     F, B- q8 R4 f# L) ~" g/ b" P2 q; G
10.                     Regex reg = new Regex(@"(?is)<a[^>]*?href=(['""]?)(?<url>[^'""\s>]+)\1[^>]*>(?<text>(?:(?!</?a\b).)*)</a>");
    0 A, X, i( J- o/ I$ D2 x. Z% h
11.                     MatchCollection mc = reg.Matches(strhtml);
    9 Y6 X, x/ Y/ k7 L2 e/ X
12.                     foreach (Match m in mc)
    4 Q2 K6 z  e- T: L: F
13.                     {
    
14.                         Uri uri = new Uri(url);
    
15.                         Uri thisUri = new Uri(uri, m.Groups["url"].Value);
    
16.                         string fullUrl = "";
    
17.                         if (m.Groups["url"].Value.StartsWith("http"))
    
18.                         {
    
19.                             fullUrl = m.Groups["url"].Value;
    9 w" M/ T  T, \; M+ Y
20.                         }
    7 i% s. |' n- a5 `( Y
21.                         else
    / j* c2 R0 e$ |; G. i6 h
22.                         {
    : G  a$ [9 W7 X  K0 R+ _
23.                             fullUrl = thisUri.ToString();
    1 D) ^2 Y1 t9 x: K" b( |) w
24.                         }
    ; f: W' G8 y1 ]; E$ C) m9 e
25.                         allHref.Add(fullUrl);
    
26.                         //Console.WriteLine("原链接：" + m.Groups["url"].Value);
    ! f+ {1 a1 Z- R2 C& @4 e4 L# R( v
27.                         //Console.WriteLine("文本标记：" + m.Groups["text"].Value);
    
28.                         //Console.WriteLine("补全链接：" + fullUrl);
    ) l- F, E( {% x
29.                         //Console.WriteLine("…………………………………………");
    " i' a" r9 k6 U
30.                     }
    # W6 {- d* e3 _/ V, m/ Q
31.                 }
    
32.             }
    / x4 N0 h5 i/ o4 I2 e5 r* s
33.             catch (Exception ex)
    
34.             { }
    ( K: |$ d: S( z) g
35.             return allHref;
    
36.         }
    ( o. o+ ^  s  k' J  I3 ^% K
37.         #endregion

复制代码

' t' @" h/ W" x/ b4 A8 ^1 M

1. 
   . E+ D$ Z, @  i) y
2. 
   # B  t5 P  d0 M: {- u$ |
3. 
   
4. #region 数据去重
   
5.         /// <summary>
   
6.         /// List<string>去重
   
7.         /// </summary>
   / m) n: t" U( Z/ u
8.         /// <param name="list"></param>
   
9.         /// <returns></returns>
   0 p# M, E3 ~  q- I5 O
10.         public static List<string> getUnqueList(List<string> list)
    
11.         {
    
12.             List<string> list1 = new List<string>();
    - }- M1 j! C) V* `: p7 v
13.             Hashtable hash = new Hashtable();
    8 T% G3 E2 L' S2 A! u' j, _. i
14.             foreach (string s in list)
    
15.             {
    ) x0 K- ~( D; s/ }; z8 |
16.                 if (!hash.ContainsKey(s))
    0 L- t8 u' o' v; J5 g# w
17.                 {
    
18.                     hash.Add(s, s);
    - z; A3 A# F$ S; D
19.                     list1.Add(s);
    
20.                 }
    5 c6 U1 m/ x/ J& y
21.             }
    & N% \6 @! h, ]% B
22.             hash.Clear();
    ( P6 V, d7 \6 J; I
23.             hash = null;
    
24.             return list1;
    
25.         }
    - P1 ]+ E1 \  y1 w% o
26.         #endregion

复制代码

2 x# ^9 Y5 @, J% {

guys

李小冲 发表于 2016-2-26 16:17

- e. u- d7 k2 j  O/ F/ H% p! x8 y: o- z8 k十分感谢！！！非常感谢！！

李小冲

guys 发表于 2016-2-26 16:20
十分感谢！！！非常感谢！！

7 Y  q6 R+ ^  p缺少一个gethtml,用下面这个：

1.      public string getHtml(string url, string charSet, bool UseUTF8CharSet)//url是要访问的网站地址，charSet是目标网页的编码，如果传入的是null或者""，那就自动分析网页的编码
   : k; k/ n3 R8 c  U, m* A
2.         {
   
3.             string strWebData = "error";
   
4.             try
   
5.             {
   ; s6 ?9 Q' P0 x# i( g( n6 h
6.                 WebClient myWebClient = new WebClient(); //创建WebClient实例myWebClient
   
7.                 // 需要注意的：
   
8.                 //有的网页可能下不下来，有种种原因比如需要cookie,编码问题等等
   
9.                 //这是就要具体问题具体分析比如在头部加入cookie
   
10.                 // webclient.Headers.Add("Cookie", cookie);
    : D1 b, a2 w2 e6 l
11.                 //这样可能需要一些重载方法。根据需要写就可以了
    + \. ~. I+ A$ D( y8 g/ V, ]
12.                 myWebClient.Headers.Add("User-agent", "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)");
    
13.                 //myWebClient.Headers.Add("User-agent", "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)");
    
14.                 //获取或设置用于对向 Internet 资源的请求进行身份验证的网络凭据。
    $ N( z# g4 e4 r& a
15.                 myWebClient.Credentials = CredentialCache.DefaultCredentials;
    + u! S, }  I# N7 S' k9 V, h" p2 b
16.                 //如果服务器要验证用户名,密码
    9 w3 X8 D* C" {# Q' f4 c3 w
17.                 //NetworkCredential mycred = new NetworkCredential(struser, strpassword);
    : |) A) J) l! p5 E+ `4 ?; C- A7 Q
18.                 //myWebClient.Credentials = mycred;
    
19.                 //从资源下载数据并返回字节数组。（加@是因为网址中间有"/"符号）
    & v3 W' N/ h5 @1 v% ?1 q; B
20.                 byte[] myDataBuffer = myWebClient.DownloadData(url);
    ) h& Z: K- a7 f) S  p
21.                 strWebData = Encoding.Default.GetString(myDataBuffer);
    
22. 
    6 M5 K) D& _# J! g4 B
23.                 //获取网页字符编码描述信息
    
24.                 Match charSetMatch = Regex.Match(strWebData, "<meta([^<]*)charset=([^<]*)"", RegexOptions.IgnoreCase | RegexOptions.Multiline);
    
25.                 string webCharSet = charSetMatch.Groups[2].Value;
    2 h6 _8 k9 b$ G, i
26.                 if (charSet == null || charSet == "")
    $ _/ `- h; z) p) ~1 v1 p8 X' |
27.                     charSet = webCharSet;
    / c( ]3 l! t( I' I# u% J0 l" q* `
28.                 if (charSet.Length > 0)
    ' |- a) {! w+ K) O
29.                 {
    
30.                     charSet = charSet.Replace(""", "");
    ( z! {) C  H! R) c
31.                 }
    9 @1 l8 `) D6 d7 }  y' b; q
32.                 if (UseUTF8CharSet)
    
33.                 {
    
34.                     if (charSet == null || charSet.Length == 0)
    
35.                     {
    % y+ q+ T7 i: A" w# l
36.                         charSet = "utf-8";
    1 Q7 \6 o8 o: W7 R/ H9 X- \
37.                     }
    
38.                 }
    
39.                 if (charSet != null && charSet != "" && Encoding.GetEncoding(charSet) != Encoding.Default)
    
40.                     strWebData = Encoding.GetEncoding(charSet).GetString(myDataBuffer);
    6 h) k, E4 T; F9 H5 H6 _2 t
41. 
    % i; q% Z2 m6 X: v2 m) E, A$ c& _5 E
42.             }
    
43.             catch (Exception)
    
44.             {
    
45.                 strWebData = "error";
    
46.             }
    * t. D" L" m. ?0 p1 V8 ~& V/ x
47. 
    & t  }2 S" ]2 a$ w- Y  i0 `$ ]
48.             return strWebData;
    : L5 g# U' T( `5 n" A0 f/ u
49.         }

复制代码

) g- j. |4 I! X0 j, X1 V, ?4 s
! M: l! Q5 M8 E

PowcAncn

weishaneweishane