AdvertCN - 广告中国

 找回密码
 立即注册

QQ登录

只需一步,快速开始

PropellerAds
Google-Bing-Mediago-Criteo开户
⚡️按条S5代理⚡️静态⚡️独享⚡️5G广告专用虚拟卡/U充值/高返点皇家代理IP⚡️#1性价比⚡️
Mediabuy⚡️玩家开户首选【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户Affiliate 全媒体流量资源⚡️
Taboola/Outbrain /Bing⚡️一级代理开户投流-7*24h❤️人工在线【官方】❤️搜索套利买量投流开户独立站⚡️开户投放
⚡️AdsPower:安全不封号,高效自动化Google FB TK游戏代投⚡️E.PN 虚拟卡⚡️BINOM TRACKER 60% OFF!
比Adplexity还好用的Spy工具ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理全球虚拟卡, 支持U充值
各种主页、账单户、BM户(优势)⚡️TikTok企业户,bm户,账单户IPCola原生住宅IP⚡️$1.8/条双ISPFB海外户、GG老户、TK加白老户
海外CL企业户源头PTM虚拟卡[全新卡BIN+高返点]FB虚拟卡⚡️消费越多返现越多最大欧洲Nutra网盟BA找量
FB个号1块一个TikTok2审户/老户/国内外端口/加白SX.ORG 高质量代理⚡235+ 地区广告位出租
8500万高质量住宅IP,助力各种需求虚拟卡返佣1%,国内持牌机构  
查看: 9837|回复: 7

[业界] 求推荐一个一键提取网站里面的URL且根据域名去重复的小...

[复制链接]

36

主题

210

广告币

294

积分

初级会员

Rank: 2

积分
294
发表于 2016-2-26 16:08:04 | 显示全部楼层 |阅读模式
回复

使用道具 举报

2

主题

1475

广告币

1818

积分

高级会员

Rank: 4

积分
1818

社区QQ达人

发表于 2016-2-26 16:17:11 | 显示全部楼层
  1. #region 抓取全站链接  N& P9 [6 ?. b5 `
  2.         public static List<string> GetAllHref(string url)5 ?3 m. e2 p  K( `! B
  3.         {
    8 R" a  n6 Z, M( e; U
  4.             List<string> allHref = new List<string>();
    + K* @! Y1 ?! F; K* w; ~0 l/ B
  5.             try1 D+ l+ M# {2 y! j+ ?( x3 V
  6.             {
    - M" x- A0 b7 P$ W
  7.                 string strhtml = soso.getHtml(url, "", true);
    5 `1 D7 g% q: I' D
  8.                 if (strhtml != "error")
    8 C5 P. m8 s5 V
  9.                 {
    % H) p! [0 l+ o( v
  10.                     Regex reg = new Regex(@"(?is)<a[^>]*?href=(['""]?)(?<url>[^'""\s>]+)\1[^>]*>(?<text>(?:(?!</?a\b).)*)</a>");
    & l6 T) R4 g& C" V
  11.                     MatchCollection mc = reg.Matches(strhtml);
    2 U3 A) D' u+ Y# r( E+ n2 t
  12.                     foreach (Match m in mc)
    # b. y1 W, `1 U* Z
  13.                     {. |; b( d9 n0 V  z; z. f; R" C. o
  14.                         Uri uri = new Uri(url);; e" ?9 |% j2 T; Q# @# z2 K
  15.                         Uri thisUri = new Uri(uri, m.Groups["url"].Value);+ q  d4 @( }& U, c3 e& Q
  16.                         string fullUrl = "";
    4 f9 D& y% z. V5 ~# f" P% E; x
  17.                         if (m.Groups["url"].Value.StartsWith("http"))
    + L& }; i4 ~" A; N4 ~& X
  18.                         {
    . H) `, O: `+ `% i7 i
  19.                             fullUrl = m.Groups["url"].Value;
    * n$ U+ ^4 Y# n- v
  20.                         }) ~/ _3 W. p- x7 I$ \2 k9 Q
  21.                         else
    ! j0 F: |8 K6 y+ q6 p- q$ X, f4 X8 t
  22.                         {+ x; T$ A( @/ p" O0 b6 v' L
  23.                             fullUrl = thisUri.ToString();
    2 U: Y& c) _8 j) g( W. i& a& h2 A
  24.                         }2 M  A; Q8 D% {# @
  25.                         allHref.Add(fullUrl);
      L8 g! a/ P+ \, J2 Q5 _6 C- F/ H( c
  26.                         //Console.WriteLine("原链接:" + m.Groups["url"].Value);# ^* w  f( a; e
  27.                         //Console.WriteLine("文本标记:" + m.Groups["text"].Value);
    9 P4 g9 ^1 F. ]5 m! o
  28.                         //Console.WriteLine("补全链接:" + fullUrl);
    8 {7 o4 A% `8 E/ v
  29.                         //Console.WriteLine("…………………………………………");
    4 e" v( Y& l' u0 L5 T. j* n
  30.                     }
    1 A$ v  H0 e( n2 x
  31.                 }  X* Z, T& T' P+ I
  32.             }
    2 o6 @7 ~% `$ a  @8 T- ~0 I
  33.             catch (Exception ex)! t8 |2 O8 t0 j. a7 B/ v# z
  34.             { }
    1 P0 W; w; k' R/ e) A. H
  35.             return allHref;& @' m4 S9 q" F" _5 |
  36.         }
    ! Q- m& B* ?9 b+ y+ U
  37.         #endregion
复制代码
1 m* ?8 r$ X7 T

# m# ^) P) R8 o, O# r
  1. ; _* z6 ^  N+ ]8 c5 y6 i) e, h
  2. / q1 ~) R2 v9 m; [) U

  3. : X  Q, f' B' r1 w
  4. #region 数据去重4 Z% v. v- H- x' q
  5.         /// <summary>/ Y* Y2 `. F& f1 x+ s& ]  q
  6.         /// List<string>去重+ t0 r7 l$ i1 [
  7.         /// </summary>
    . C! K; T6 N/ e/ n; t. P6 T
  8.         /// <param name="list"></param>2 M: V6 o: H; R7 T1 U' C
  9.         /// <returns></returns>
    ! ~5 H5 b, A! r/ G) W: ]# j+ y
  10.         public static List<string> getUnqueList(List<string> list)
    $ X8 w2 K9 T% G1 R2 q5 ?6 p( T
  11.         {1 V, C3 r2 Q- \& c* N
  12.             List<string> list1 = new List<string>();
    ! `) H6 p  z' N+ T# ^) B( v1 o  H
  13.             Hashtable hash = new Hashtable();( A" P8 b' b, L1 M/ ^
  14.             foreach (string s in list)
    8 N  t! Z& \; E* X) r9 B' V4 A
  15.             {* U3 A6 D3 G9 \' U. s' l6 z
  16.                 if (!hash.ContainsKey(s))7 B" H# w7 _. V! r6 j
  17.                 {5 ?4 Y1 q$ U$ I, I$ @, l8 d
  18.                     hash.Add(s, s);7 s( D: d; _" l. E4 a
  19.                     list1.Add(s);
    - ], R6 _: ]( `1 f- [4 L
  20.                 }
    0 n, ~, m: H' [* J1 h
  21.             }
    ' q" m+ y+ U/ c$ }# d
  22.             hash.Clear();
    4 h: y6 {3 d0 {# c
  23.             hash = null;; L" l, E8 {' @/ }8 J5 G4 C  Q' n
  24.             return list1;
    ) E$ r, S$ g1 n8 F: w; d8 N
  25.         }
    : I* l$ L% C6 O1 p
  26.         #endregion
复制代码

, I+ j) o$ u3 y0 V2 v, S
: r7 u! b8 ]  v' I# g" K

点评

谢谢分享  发表于 2016-2-27 15:15
十分感谢!!!非常感谢!!  详情 回复 发表于 2016-2-26 16:20
回复 支持 反对

使用道具 举报

36

主题

210

广告币

294

积分

初级会员

Rank: 2

积分
294
 楼主| 发表于 2016-2-26 16:20:16 | 显示全部楼层

% f: V: e* g8 l十分感谢!!!非常感谢!!

点评

缺少一个gethtml,用下面这个:  详情 回复 发表于 2016-2-26 16:23
回复 支持 反对

使用道具 举报

2

主题

1475

广告币

1818

积分

高级会员

Rank: 4

积分
1818

社区QQ达人

发表于 2016-2-26 16:23:12 | 显示全部楼层
guys 发表于 2016-2-26 16:20
9 ]6 L% r4 J' a/ ]十分感谢!!!非常感谢!!

  `) X8 A( K1 z: R3 }4 O. @缺少一个gethtml,用下面这个:. N+ ~: k9 @3 |9 J' e$ D# e) i- O
  1.      public string getHtml(string url, string charSet, bool UseUTF8CharSet)//url是要访问的网站地址,charSet是目标网页的编码,如果传入的是null或者"",那就自动分析网页的编码
    + Q% W3 e* \0 k; t0 d. q6 x6 {, h
  2.         {
    / E# X- p/ u+ m5 {! R" `
  3.             string strWebData = "error";
    ' ?, R4 D' u  Z
  4.             try
    . a  ]* |; q( F: O8 D0 J$ E8 R
  5.             {
    & F$ K0 R( H( W# K4 u7 T
  6.                 WebClient myWebClient = new WebClient(); //创建WebClient实例myWebClient
    + \) a) H# Z' a7 N
  7.                 // 需要注意的:
    1 c  X3 t/ I: Q* y9 d
  8.                 //有的网页可能下不下来,有种种原因比如需要cookie,编码问题等等
    8 S# b7 K- y7 [8 }+ R" e! j& K
  9.                 //这是就要具体问题具体分析比如在头部加入cookie / m4 X( S* }# f% R/ ~
  10.                 // webclient.Headers.Add("Cookie", cookie); 7 F% T5 T8 R6 H* \* V9 G
  11.                 //这样可能需要一些重载方法。根据需要写就可以了- B. r4 D+ z. K6 [  A* ^
  12.                 myWebClient.Headers.Add("User-agent", "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)");6 g& |, g: F0 @+ N" n% i& C
  13.                 //myWebClient.Headers.Add("User-agent", "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)");
    & Q' T0 X$ o: |# X* m  J
  14.                 //获取或设置用于对向 Internet 资源的请求进行身份验证的网络凭据。
    1 ?' `+ ?' [) \8 r2 g
  15.                 myWebClient.Credentials = CredentialCache.DefaultCredentials;
    1 _) K0 [# C% }/ K) E+ x
  16.                 //如果服务器要验证用户名,密码
    6 r8 {8 y! B! \$ m, T, R2 h
  17.                 //NetworkCredential mycred = new NetworkCredential(struser, strpassword);
    7 s! w# y8 J( b6 X8 z4 ?3 H8 {6 K
  18.                 //myWebClient.Credentials = mycred; 9 A, R: d% x7 U/ h2 R! H  {
  19.                 //从资源下载数据并返回字节数组。(加@是因为网址中间有"/"符号) ; Z- ?- O+ X9 b$ K/ Q0 N5 ~# ~% D
  20.                 byte[] myDataBuffer = myWebClient.DownloadData(url);. m) s) U1 r6 D8 O, z6 w# f& b
  21.                 strWebData = Encoding.Default.GetString(myDataBuffer);
    " b4 m3 B) i+ k# X# r7 k
  22. ( y" e0 X. t' [  [7 j
  23.                 //获取网页字符编码描述信息
    : P" x# |9 w$ q8 j# M7 Y7 r
  24.                 Match charSetMatch = Regex.Match(strWebData, "<meta([^<]*)charset=([^<]*)"", RegexOptions.IgnoreCase | RegexOptions.Multiline);
    $ l9 [' B* x, U+ _
  25.                 string webCharSet = charSetMatch.Groups[2].Value;# C/ P" E' S- u7 }1 O
  26.                 if (charSet == null || charSet == "")
    1 ?" C' Z  N, m& M6 N; y* [
  27.                     charSet = webCharSet;. O8 W' A' R  j# ~
  28.                 if (charSet.Length > 0)7 K: W$ U- C+ K5 p
  29.                 {
    , s0 T+ J  e! j6 t  O% J+ ?' i% G
  30.                     charSet = charSet.Replace(""", "");+ j" w" F' i; E
  31.                 }; k6 `2 n; [2 i8 s
  32.                 if (UseUTF8CharSet)' {- x  r2 X4 S  Z1 c: n
  33.                 {
      W' L! o& D4 l+ }# e. [; d
  34.                     if (charSet == null || charSet.Length == 0)
    , C, g: N  z/ g/ K
  35.                     {0 P7 M- z7 z/ Y/ Z
  36.                         charSet = "utf-8";) |, o/ {  x* p2 y) R0 w6 `
  37.                     }
    - Y; d( a+ U# k  L9 z
  38.                 }' k' t* ~$ h) `; {
  39.                 if (charSet != null && charSet != "" && Encoding.GetEncoding(charSet) != Encoding.Default)
    % T' D9 V% h5 X5 _
  40.                     strWebData = Encoding.GetEncoding(charSet).GetString(myDataBuffer);9 w) m( Y9 V' w

  41. * E$ h4 X+ P/ P! d9 v5 V: @
  42.             }
    / W0 @0 o1 A$ q- }) d. u
  43.             catch (Exception)
    2 n( \7 U: L, V. c' x6 z
  44.             {
    2 t+ ?9 D* d6 K" c8 g( I. m
  45.                 strWebData = "error";
    $ p0 k" U1 d# j2 j& J( v" ]
  46.             }  r" N9 L8 N$ F/ `
  47. ; a8 j/ }6 \6 u1 p$ ?; N
  48.             return strWebData;/ q. d. q4 ]" }7 s3 H
  49.         }
复制代码
8 f* @4 ?8 b8 M$ H
( r2 ~7 r( C2 w: k3 P
回复 支持 反对

使用道具 举报

0

主题

0

广告币

13

积分

新手上路

Rank: 1

积分
13
发表于 2016-2-26 19:05:59 | 显示全部楼层
weishaneweishane
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2026-3-8 08:27 , Processed in 0.056254 second(s), 20 queries , Gzip On, MemCache On.

Copyright © 2001-2023, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表