找回密码
 立即注册

QQ登录

只需一步,快速开始

PropellerAds
⚡️按条S5代理⚡️静态⚡️独享⚡️5GMediabuy⚡️玩家开户首选【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户
Affiliate 全媒体流量资源⚡️Taboola/Outbrain /Bing⚡️一级代理开户投流-7*24h❤️人工在线【官方】❤️搜索套利买量投流开户
独立站⚡️开户投放Google FB TK游戏代投⚡️E.PN 虚拟卡⚡️BINOM TRACKER 60% OFF!
比Adplexity还好用的Spy工具ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理全球虚拟卡, 支持U充值
【15 年团队 - 广告自动化系统、定制开发】【ActionKey】Meta API 桥接令牌尤里改 - FB 稳定投放【神盾 AI】Meta 广告资产防护 永久免费
FB 三不限源头 - 自助下户充值转款各种主页、账单户、BM户(优势)IPCola原生住宅IP⚡️$1.8/条双ISPTK加白户/二解户/FB海外户/GG老户
最大欧洲Nutra网盟BA找量 FB高权重耐操个号⚡️稳定过审联盟收款/海外资金下发/服贸结汇✔Taboola海外户源头
全球效果广告投放平台|Vertoz IngeniousPlexSX.ORG 住宅IP | 凭码ADVERT3免费领3GB广告位出租 
查看: 10335|回复: 7

[业界] 求推荐一个一键提取网站里面的URL且根据域名去重复的小...

[复制链接]

36

主题

215

广告币

298

积分

初级会员

积分
298
发表于 2016-2-26 16:08:04 | 显示全部楼层 |阅读模式
Binom_AdvertCN
回复

使用道具 举报

2

主题

1488

广告币

1830

积分

高级会员

积分
1830

社区QQ达人

发表于 2016-2-26 16:17:11 | 显示全部楼层
  1. #region 抓取全站链接
    0 n5 P' y2 u' r' R% p: T) G' V
  2.         public static List<string> GetAllHref(string url)
    , p$ z: A1 t: u) w3 w( W/ \) j
  3.         {$ H6 z. W: j- ~# B* `1 o2 J
  4.             List<string> allHref = new List<string>();$ p8 m8 ^" |0 m. N/ Q4 A+ l" }
  5.             try
    ; ?# f: z% j/ c- G
  6.             {' F8 F! Y1 n$ {5 c$ ^" r, T
  7.                 string strhtml = soso.getHtml(url, "", true);
    ! F5 m9 M$ L+ J1 a
  8.                 if (strhtml != "error")$ s5 `+ d; z& C" @! S; W/ H' O
  9.                 {
    " G& Q1 U3 x$ c8 i- B8 T1 o
  10.                     Regex reg = new Regex(@"(?is)<a[^>]*?href=(['""]?)(?<url>[^'""\s>]+)\1[^>]*>(?<text>(?:(?!</?a\b).)*)</a>");5 @, `2 U0 m. h0 Y7 E" x
  11.                     MatchCollection mc = reg.Matches(strhtml);
    $ n2 N& z: x% P, a0 ?: j! Z
  12.                     foreach (Match m in mc)
    1 y" N% Q3 i, `
  13.                     {2 b0 Z* v7 U! G- A4 I% o2 }, L
  14.                         Uri uri = new Uri(url);1 U- @6 A6 x" M3 E
  15.                         Uri thisUri = new Uri(uri, m.Groups["url"].Value);
    $ M3 ~0 m' f/ R- Y/ U- E
  16.                         string fullUrl = "";
    " H$ H6 G( V8 F' h( A
  17.                         if (m.Groups["url"].Value.StartsWith("http"))3 h5 S1 ^* V( Q. x
  18.                         {9 G- Q) c" x3 l* D2 r
  19.                             fullUrl = m.Groups["url"].Value;
    & C$ j' b! L# }
  20.                         }
    3 r; _! R8 k1 k2 ^9 i( x, h
  21.                         else+ r3 k; T) {8 e* {" G1 t9 A
  22.                         {
    ! Q. Q# R  J& ]
  23.                             fullUrl = thisUri.ToString();7 T( r# B  Z5 L
  24.                         }. z0 C7 J, _2 A# I. c% a2 f+ Y5 G- a
  25.                         allHref.Add(fullUrl);! ^6 [7 r- H" {! ~8 N9 r2 r0 X9 E
  26.                         //Console.WriteLine("原链接:" + m.Groups["url"].Value);
    $ T0 w- b$ M) \# V9 s
  27.                         //Console.WriteLine("文本标记:" + m.Groups["text"].Value);2 M1 I- r! U& L" v
  28.                         //Console.WriteLine("补全链接:" + fullUrl);
    * m0 u, u7 ]: R' i3 I
  29.                         //Console.WriteLine("…………………………………………");6 p+ O5 H* P/ m. h4 g  T" z
  30.                     }6 W. c' d8 {8 Z+ b! U5 R
  31.                 }3 R" u$ D8 e( |, x; ?
  32.             }( V) ?- p2 ]4 i( @7 k. e& [7 x
  33.             catch (Exception ex), S# U* S& k) T9 t
  34.             { }+ G% s6 _2 F- u6 C2 \
  35.             return allHref;
    0 H7 x( ^* A2 N; d2 C
  36.         }
    * d" D8 B# S. n! m* R5 d, K
  37.         #endregion
复制代码

3 b  m1 O* ~( W- k) c1 m  g# L
( ]4 q; F: {! n( ^

  1. * ]% D) v# i  X- l% d6 A4 ~

  2. 6 f& f0 T) Z9 p' n' E3 Y; R
  3. . h) O6 G+ `6 z8 s
  4. #region 数据去重' d. V5 F) ^( X8 q0 T6 p3 \
  5.         /// <summary>
    - d8 B" v  d3 K( Z4 S
  6.         /// List<string>去重
    0 _0 V8 }% j1 |. x  e# Y* u  |
  7.         /// </summary>" V, }4 T8 C# W- p2 i2 \  g& g# {
  8.         /// <param name="list"></param>
    * ~" {- f8 O% J; Q5 d
  9.         /// <returns></returns>% |9 [; W8 P7 M$ r3 ~
  10.         public static List<string> getUnqueList(List<string> list)
    7 r- F5 D% a$ `2 J: b) M% n4 O( Y
  11.         {
    ( D" T5 b8 k! |# j) ]
  12.             List<string> list1 = new List<string>();
      u- k/ h& s) Q3 i* U4 I. P5 a" p1 w
  13.             Hashtable hash = new Hashtable();
    9 X% S: z/ t& Y7 z6 h
  14.             foreach (string s in list)$ R. P, `( e2 {2 X; O1 a. N( x! ]
  15.             {
    ' k" J$ ~6 N( `) E# Z0 l
  16.                 if (!hash.ContainsKey(s))  p+ \: G; @6 G% i! ?& ]+ E2 B/ b3 X
  17.                 {
    9 Z" _4 C* N* ^: k" g6 ]
  18.                     hash.Add(s, s);8 B! ]& h  Q1 K. }. e8 V
  19.                     list1.Add(s);
    2 ^7 P) ^. @" ~* \2 l. D
  20.                 }
    2 K/ P2 E* l# ?) w& _0 `- S
  21.             }
    9 p+ O/ q/ E" q8 r  U6 ]. h
  22.             hash.Clear();  {3 w/ ?: W. Z+ ]8 E
  23.             hash = null;! Q9 H1 a  J4 l$ [
  24.             return list1;
    / g8 @7 k7 f% S4 d
  25.         }
    - f4 W1 k3 c# g' Q" q& g
  26.         #endregion
复制代码
7 |0 K) u5 g8 V6 m

4 n4 a2 y2 A( c6 Y5 f

点评

谢谢分享  发表于 2016-2-27 15:15
十分感谢!!!非常感谢!!  详情 回复 发表于 2016-2-26 16:20
回复 支持 反对

使用道具 举报

36

主题

215

广告币

298

积分

初级会员

积分
298
 楼主| 发表于 2016-2-26 16:20:16 | 显示全部楼层

* y9 s4 C' }- f4 l十分感谢!!!非常感谢!!

点评

缺少一个gethtml,用下面这个:  详情 回复 发表于 2016-2-26 16:23
回复 支持 反对

使用道具 举报

2

主题

1488

广告币

1830

积分

高级会员

积分
1830

社区QQ达人

发表于 2016-2-26 16:23:12 | 显示全部楼层
guys 发表于 2016-2-26 16:20" d# y/ k2 Q2 R5 ]/ |: Q- ?- ~
十分感谢!!!非常感谢!!
% O3 V0 g" H2 ?( |% L& v4 ]  l
缺少一个gethtml,用下面这个:
" {; `3 ?7 o! F5 I( r4 g
  1.      public string getHtml(string url, string charSet, bool UseUTF8CharSet)//url是要访问的网站地址,charSet是目标网页的编码,如果传入的是null或者"",那就自动分析网页的编码 & V2 ^+ J- S9 Q' `: a% V
  2.         {
    . U$ h# B* i% e' s6 A( F
  3.             string strWebData = "error";' D, s4 @0 J+ _: u2 \
  4.             try
    . r& v+ R) M* i- ?( b# I3 ]3 s! W: A
  5.             {( y$ j: m0 R( x
  6.                 WebClient myWebClient = new WebClient(); //创建WebClient实例myWebClient
    . B6 k; C8 j" \- Y
  7.                 // 需要注意的: " W8 N% E. B% e) b2 r/ J) r4 [/ @9 p
  8.                 //有的网页可能下不下来,有种种原因比如需要cookie,编码问题等等
    5 D" |4 V  X4 r: d5 t
  9.                 //这是就要具体问题具体分析比如在头部加入cookie 9 ?: y7 `/ t5 V4 J9 v, C
  10.                 // webclient.Headers.Add("Cookie", cookie); ' b. x: ?  O0 ~) g0 c! @' I4 e
  11.                 //这样可能需要一些重载方法。根据需要写就可以了
    7 ^# e% V1 n# z+ G% i' G
  12.                 myWebClient.Headers.Add("User-agent", "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)");
    - C! H- c4 Y" X: w7 g9 r
  13.                 //myWebClient.Headers.Add("User-agent", "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)");
    ' t5 U3 C6 a$ T
  14.                 //获取或设置用于对向 Internet 资源的请求进行身份验证的网络凭据。 , R$ o, u$ |* w' C
  15.                 myWebClient.Credentials = CredentialCache.DefaultCredentials;, p* k: I' m( e$ p
  16.                 //如果服务器要验证用户名,密码
      w( E8 Y- r% q
  17.                 //NetworkCredential mycred = new NetworkCredential(struser, strpassword);
    . H& {4 z( T$ j' Q6 b
  18.                 //myWebClient.Credentials = mycred; 7 d% T! V/ ?1 P, C; q" Y# N
  19.                 //从资源下载数据并返回字节数组。(加@是因为网址中间有"/"符号) 6 M3 U2 w8 r1 Z4 M. v, K' d
  20.                 byte[] myDataBuffer = myWebClient.DownloadData(url);* W1 }. r! o4 x
  21.                 strWebData = Encoding.Default.GetString(myDataBuffer);
    * f/ m2 p6 \( a! G) m7 I" W$ g
  22.   ?' \+ Q: J/ x4 X( R& F+ f& L: B- S
  23.                 //获取网页字符编码描述信息
      d& n/ a+ k9 n* S* d
  24.                 Match charSetMatch = Regex.Match(strWebData, "<meta([^<]*)charset=([^<]*)"", RegexOptions.IgnoreCase | RegexOptions.Multiline);* J" w/ H3 @% f6 q
  25.                 string webCharSet = charSetMatch.Groups[2].Value;
    8 ^5 M$ B* B3 [0 g5 G
  26.                 if (charSet == null || charSet == "")8 E- F- g% d6 K
  27.                     charSet = webCharSet;$ c3 G: D8 \; G0 X
  28.                 if (charSet.Length > 0)
      D& S. H3 w& h7 c5 F
  29.                 {% M1 m9 V7 s% s  A- p  p# ?6 {8 s3 `
  30.                     charSet = charSet.Replace(""", "");
    1 U0 U$ i8 M! i; T
  31.                 }
    # U( l0 f% Y3 Q( w! w0 [8 h2 W7 v$ q. u
  32.                 if (UseUTF8CharSet)
    8 u. F5 X  C+ I: u
  33.                 {$ p/ Q# x) A8 W: f' n7 g9 G3 |
  34.                     if (charSet == null || charSet.Length == 0)
    , W- l" F) O& {3 H: r& f0 `
  35.                     {0 F- j' y+ A6 W3 O) N
  36.                         charSet = "utf-8";; T) Q, Y) t7 @
  37.                     }
    # `9 Q7 r2 j' l( w
  38.                 }& E4 r9 r6 I+ E+ f3 ]$ V. E
  39.                 if (charSet != null && charSet != "" && Encoding.GetEncoding(charSet) != Encoding.Default)
    # x1 _( i+ O  u
  40.                     strWebData = Encoding.GetEncoding(charSet).GetString(myDataBuffer);
    9 o, \2 ?" D7 e. k4 `4 s3 h# M' M. J) A

  41. " Q3 x% m8 ]: T
  42.             }/ N* X5 c2 c( o; i8 u' r
  43.             catch (Exception)
    1 U( c3 m5 I+ q8 L+ R8 `
  44.             {
      G( _2 Q) r% N/ d0 o5 X! r! o
  45.                 strWebData = "error";
      ^0 ?* n$ s% ~( H5 B
  46.             }& Q  M1 P0 g, i4 f4 m2 \
  47. ( i. ?! u" U9 {8 h! j
  48.             return strWebData;" T& Y  q% e; f4 N+ C( o; y
  49.         }
复制代码

2 c6 O" h9 m/ u9 I, f( H5 w# d7 }: }; n, u) f" O; {, d* z
回复 支持 反对

使用道具 举报

0

主题

0

广告币

13

积分

新手上路

积分
13
发表于 2016-2-26 19:05:59 | 显示全部楼层
weishaneweishane
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2026-11-20 17:52 , Processed in 0.077468 second(s), 28 queries , Gzip On.

Copyright © 2001-2026, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表