AdvertCN - 广告中国

 找回密码
 立即注册

QQ登录

只需一步,快速开始

PropellerAds
Google-Bing-Mediago-Criteo开户
⚡️按条S5代理⚡️静态⚡️独享⚡️5G广告专用虚拟卡/U充值/高返点皇家代理IP⚡️#1性价比⚡️
Mediabuy⚡️玩家开户首选【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户Affiliate 全媒体流量资源⚡️
Taboola/Outbrain /Bing⚡️一级代理开户投流-7*24h❤️人工在线【官方】❤️搜索套利买量投流开户独立站⚡️开户投放
⚡️AdsPower:安全不封号,高效自动化Google FB TK游戏代投⚡️E.PN 虚拟卡⚡️BINOM TRACKER 60% OFF!
比Adplexity还好用的Spy工具ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理虚拟信用卡+独立站收款
全球虚拟卡, 支持U充值各种主页、账单户、BM户(优势)⚡️TikTok企业户,bm户,账单户IPCola原生住宅IP⚡️$1.8/条双ISP
FB海外户、GG老户、TK加白老户PTM虚拟卡[全新卡BIN+高返点]FB虚拟卡⚡️消费越多返现越多最大欧洲Nutra网盟BA找量
高品质·稳定高速纯净IP FB个号1块一个TikTok2审户/老户/国内外端口/加白SX.ORG 高质量代理⚡235+ 地区
GG,FB,TK, 欧美源头, 欢迎合作❤️跨境债务催收/风险代理高权重Google老户[卖户+筛户等级] 海外斗篷・智能广告过审率高达 99%
DataImpulse⚡️纯净住宅代理仅 $1FB企业户海外户,授信户,TK加白户广告位出租8500万高质量住宅IP,助力各种需求
虚拟卡返佣1%,国内持牌机构   
查看: 9920|回复: 7

[业界] 求推荐一个一键提取网站里面的URL且根据域名去重复的小...

[复制链接]

36

主题

210

广告币

294

积分

初级会员

Rank: 2

积分
294
发表于 2016-2-26 16:08:04 | 显示全部楼层 |阅读模式
回复

使用道具 举报

2

主题

1475

广告币

1818

积分

高级会员

Rank: 4

积分
1818

社区QQ达人

发表于 2016-2-26 16:17:11 | 显示全部楼层
  1. #region 抓取全站链接* ?5 C5 E$ s$ P0 P
  2.         public static List<string> GetAllHref(string url)9 O, X. q1 r* S
  3.         {# r* j# r6 ?  L1 N
  4.             List<string> allHref = new List<string>();: E& l. ~. G' t3 X+ A6 o
  5.             try- M1 k% j) M1 _; N4 ~& F, N
  6.             {8 l" X* J& @" N) Q7 @
  7.                 string strhtml = soso.getHtml(url, "", true);
    - K+ g+ q' \( H2 D9 v' i' m0 I
  8.                 if (strhtml != "error")( d" j2 O$ r6 B, j4 ^
  9.                 {
    1 X% B" v" `) K# R. g
  10.                     Regex reg = new Regex(@"(?is)<a[^>]*?href=(['""]?)(?<url>[^'""\s>]+)\1[^>]*>(?<text>(?:(?!</?a\b).)*)</a>");
    $ Z; V; Y) Y% i# c- O1 k  c) ]
  11.                     MatchCollection mc = reg.Matches(strhtml);( j* ]1 ]4 J, t' `1 B
  12.                     foreach (Match m in mc)
    ; T$ Z' ^7 u- L0 t
  13.                     {' {8 t( q3 T, r8 A( \
  14.                         Uri uri = new Uri(url);
    2 x( H; {, R5 m5 s  e) X4 M! ~
  15.                         Uri thisUri = new Uri(uri, m.Groups["url"].Value);
    * U/ R. H/ b$ e0 P1 J3 G; t" ~
  16.                         string fullUrl = "";
    0 N* [" {3 I) V
  17.                         if (m.Groups["url"].Value.StartsWith("http"))0 k- n0 T5 D% a" K! ~
  18.                         {! \! _/ ]/ q4 G* Z  o$ ]
  19.                             fullUrl = m.Groups["url"].Value;6 }" k  E7 c  z3 x6 d
  20.                         }$ K- l3 ]* o; [) g
  21.                         else; p" g' B% T6 H4 U
  22.                         {
    3 H) s: W5 G# X5 s" j* ~
  23.                             fullUrl = thisUri.ToString();2 @/ [% x1 F4 G- q! S  b) Y6 I
  24.                         }  R  N0 o" D5 u2 r
  25.                         allHref.Add(fullUrl);
    ' ^) U1 F* C! a7 ^! Q0 E) i* u3 s
  26.                         //Console.WriteLine("原链接:" + m.Groups["url"].Value);
    3 V, d+ w# i" `7 y% f( T
  27.                         //Console.WriteLine("文本标记:" + m.Groups["text"].Value);% o' N7 y; `# ?& f) [
  28.                         //Console.WriteLine("补全链接:" + fullUrl);2 ]- ^' B3 _; ~9 H4 V" s! C. I
  29.                         //Console.WriteLine("…………………………………………");2 l4 c5 g+ q- ]: b
  30.                     }
    . E$ u0 @4 \6 f) Z9 V
  31.                 }; u; _9 w/ c" Z: r% ?
  32.             }3 g4 y  G# o2 p
  33.             catch (Exception ex)
    1 I5 W$ u+ A: {6 Z
  34.             { }9 `, c4 T( H& X
  35.             return allHref;1 I) l- @: f+ H
  36.         }# z* t6 \! T2 ], g) W9 ^9 p, L
  37.         #endregion
复制代码
/ Y2 b% ]( @6 u6 k0 o  D- o6 G/ c

2 E, S' ?; R" |4 k5 ~
  1. 0 i. P" t* B* Q: q
  2. 5 H9 s8 e' G5 y% X8 U9 E
  3. * u5 b3 z* {# d* k8 E6 j' G  X
  4. #region 数据去重  u4 j  t1 w( c2 U" h7 k, G
  5.         /// <summary>
    ( J, L$ \) O; G  ?
  6.         /// List<string>去重: A% r1 {4 s% u; G2 [; n/ H
  7.         /// </summary>  n% Q- U9 V) A& j
  8.         /// <param name="list"></param>
    6 s5 ?7 z( Q# [6 b8 V
  9.         /// <returns></returns>$ n/ ?0 `7 v" s2 I7 d# a4 [* v. a
  10.         public static List<string> getUnqueList(List<string> list)4 L- ]) ^2 n6 L
  11.         {
    8 `0 _, F$ {( O& G3 ^2 T' \5 M
  12.             List<string> list1 = new List<string>();* A0 P0 T" T& [
  13.             Hashtable hash = new Hashtable();+ E. S1 z; U6 _6 m' \
  14.             foreach (string s in list)- Z2 j1 q8 G3 X$ ^
  15.             {, z) Y# T& t/ W: J$ z4 S
  16.                 if (!hash.ContainsKey(s))
    / ^( P* J* q/ W/ N* h# n
  17.                 {" R2 N3 [) e6 @: k) f. K5 Y7 s: m
  18.                     hash.Add(s, s);3 U, E: t3 b1 d  v0 W
  19.                     list1.Add(s);
    # |: n* B8 o# F
  20.                 }
    ) R  @8 m5 a/ O# _/ e, p
  21.             }9 b! g% k" O! p% o8 P
  22.             hash.Clear();
    # @- S) \: P! s: R
  23.             hash = null;- a& [8 A+ `& B$ G$ I/ a
  24.             return list1;
    $ F! n% m" v, `- U
  25.         }: `4 Z% j4 O* A, L  Z1 @
  26.         #endregion
复制代码

' g/ |$ ]  L. q, M7 Q( W5 r
- {' @# }& {2 v

点评

谢谢分享  发表于 2016-2-27 15:15
十分感谢!!!非常感谢!!  详情 回复 发表于 2016-2-26 16:20
回复 支持 反对

使用道具 举报

36

主题

210

广告币

294

积分

初级会员

Rank: 2

积分
294
 楼主| 发表于 2016-2-26 16:20:16 | 显示全部楼层

7 y, @, z: f) e$ h8 b% x十分感谢!!!非常感谢!!

点评

缺少一个gethtml,用下面这个:  详情 回复 发表于 2016-2-26 16:23
回复 支持 反对

使用道具 举报

2

主题

1475

广告币

1818

积分

高级会员

Rank: 4

积分
1818

社区QQ达人

发表于 2016-2-26 16:23:12 | 显示全部楼层
guys 发表于 2016-2-26 16:205 J& {8 ]$ E3 G( M9 c6 f5 f: z
十分感谢!!!非常感谢!!
/ }) s0 e* m: ?& W
缺少一个gethtml,用下面这个:
! _0 R7 v! E# q# _
  1.      public string getHtml(string url, string charSet, bool UseUTF8CharSet)//url是要访问的网站地址,charSet是目标网页的编码,如果传入的是null或者"",那就自动分析网页的编码 . B# `+ O% V9 @$ U2 p1 \/ V
  2.         {4 X0 y9 q; p7 m: [: J& _/ M2 A, r
  3.             string strWebData = "error";
    . N. q" Q  S2 j3 c7 W$ s: B$ F
  4.             try
    . F4 d, L' ?  e' k0 S
  5.             {
    , r& {$ t( m) k1 E  J4 m( U+ w
  6.                 WebClient myWebClient = new WebClient(); //创建WebClient实例myWebClient 3 Q' B2 m$ z5 X4 V0 Z
  7.                 // 需要注意的:
    % u0 q, [- E5 i
  8.                 //有的网页可能下不下来,有种种原因比如需要cookie,编码问题等等 1 w7 `' r$ q) x0 b, i& q
  9.                 //这是就要具体问题具体分析比如在头部加入cookie
    3 \/ k/ h: A2 `
  10.                 // webclient.Headers.Add("Cookie", cookie);
    + E) Y1 p2 f3 ^1 g  N: L% m
  11.                 //这样可能需要一些重载方法。根据需要写就可以了
    5 N: i4 s2 X5 h( f
  12.                 myWebClient.Headers.Add("User-agent", "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)");1 \! Y  {4 G6 n
  13.                 //myWebClient.Headers.Add("User-agent", "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)");; w) N. z; V- {1 Y# O/ J8 h4 P
  14.                 //获取或设置用于对向 Internet 资源的请求进行身份验证的网络凭据。 3 U$ B& C& E' \. N3 E$ y7 x2 i* P/ g7 o
  15.                 myWebClient.Credentials = CredentialCache.DefaultCredentials;& m* U% O# d$ I
  16.                 //如果服务器要验证用户名,密码 . E& C  _, F, v. k  v5 y1 J6 Z
  17.                 //NetworkCredential mycred = new NetworkCredential(struser, strpassword); & x% E8 I) c  g, H: g4 ?2 v, q! X
  18.                 //myWebClient.Credentials = mycred;
    9 B. r* L1 s$ F7 X0 c* |
  19.                 //从资源下载数据并返回字节数组。(加@是因为网址中间有"/"符号)
    6 G& i8 K( K& u% A
  20.                 byte[] myDataBuffer = myWebClient.DownloadData(url);1 r; P8 U, ^& p2 D" A0 F
  21.                 strWebData = Encoding.Default.GetString(myDataBuffer);, ?1 d, ]% W1 y

  22. 5 X* p. b; C3 `3 o( y2 c& J
  23.                 //获取网页字符编码描述信息
      l2 O. P' }5 D$ p" D2 W
  24.                 Match charSetMatch = Regex.Match(strWebData, "<meta([^<]*)charset=([^<]*)"", RegexOptions.IgnoreCase | RegexOptions.Multiline);
    4 ^9 ~  X; @" \
  25.                 string webCharSet = charSetMatch.Groups[2].Value;
    ' a% s: i5 ^# P5 q2 X3 O( s
  26.                 if (charSet == null || charSet == "")$ u" ~* p* j7 e3 [  q
  27.                     charSet = webCharSet;; I/ u. q2 K+ P% V! V4 u
  28.                 if (charSet.Length > 0)7 a/ O4 y! ~& n: L( D
  29.                 {
    " r5 \9 [( X) w4 v! k6 r
  30.                     charSet = charSet.Replace(""", "");
      J/ M  w- t- I7 i( K
  31.                 }
    1 D% o/ k1 k# z
  32.                 if (UseUTF8CharSet)
    + T  f4 i$ j& d+ I9 L& U
  33.                 {& @) o( m2 P) |' u
  34.                     if (charSet == null || charSet.Length == 0)9 \8 J4 u5 y  L! u5 w
  35.                     {9 G; o& G( q+ J( d3 P
  36.                         charSet = "utf-8";* t' l7 Q# ?+ d% u6 ^- Q
  37.                     }
    " n! {' x9 ~& ^( G& l: ?
  38.                 }# V7 u9 G' ~& o( r
  39.                 if (charSet != null && charSet != "" && Encoding.GetEncoding(charSet) != Encoding.Default)
    2 w4 c& @% z6 U" ]( m3 F3 W
  40.                     strWebData = Encoding.GetEncoding(charSet).GetString(myDataBuffer);/ B, F1 p; ]& b' t$ l
  41. 6 A* U! T, X1 s2 q: P0 v
  42.             }
    0 t( W; |. }0 Z8 [6 n
  43.             catch (Exception)
    0 |# i) [* M1 Q; z! V
  44.             {3 O  A9 p8 E) a! Z) w
  45.                 strWebData = "error";" w+ n) @( t9 B- C
  46.             }/ W! l7 H) s1 C! g- W  Y# L
  47. ' o$ K, m- _+ a: {3 c! T
  48.             return strWebData;
    # d/ R8 K+ K: P" D) y/ m
  49.         }
复制代码

0 z* ^* c/ c8 n; w2 v6 i9 S
" t, a5 ^! M9 B- \( e) h  x" V
回复 支持 反对

使用道具 举报

0

主题

0

广告币

13

积分

新手上路

Rank: 1

积分
13
发表于 2016-2-26 19:05:59 | 显示全部楼层
weishaneweishane
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2026-3-31 14:54 , Processed in 0.053326 second(s), 16 queries , Gzip On, MemCache On.

Copyright © 2001-2023, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表