怎么去除重复网址

rest4317 · 发表于 2013-9-20 19:48:21

小白我最近逛bhw，发现不少好帖子，然后就复制了网址到一个txt文档里。到现在收藏下的网址多看了发现很多是重复收藏了，请教用什么工具能查出重复的网址，然后剔除掉。

最后感叹下：光说不练假把式！take action

4mile · 发表于 2013-9-20 19:59:28

笨方法：EXCEL筛选

河小马 · 发表于 2013-9-20 21:30:23

excel 是可以的

ksduck · 发表于 2013-9-20 21:51:44

一点都不觉得excel是笨办法，相反这是时间投入最小的办法：

http://www.wangyeba.com/Article/rjjx/wlgj/200908/20090824092117.shtml

妖妖 · 发表于 2013-9-20 21:52:53

EDITPLUS 文本编辑器直接可以去重

firearmer · 发表于 2013-9-20 21:53:44

我一直用 AkelPad ，里面自带去除重复，非常方便，因为我也常用这功能。

bjzhush · 发表于 2013-9-20 22:43:31

我在linux下
给你贴个简单可行的办法
cat url.txt|sort|uniq

bjzhush · 发表于 2013-9-20 22:47:54

忘记说了,如果txt里面有空格,比如结尾的空格,是会干扰这个uniq的
需要用vim或者其它工具先吧空格替换掉

rest4317 · 发表于 2013-9-21 01:53:42

已解决！谢谢楼上诸位大大的热情援助

		自动登录	找回密码
密码			立即注册

Google-Bing-Mediago-Criteo开户	⚡️按条S5代理⚡️静态⚡️独享⚡️5G	广告专用虚拟卡/U充值/高返点	皇家代理IP⚡️#1性价比⚡️
Mediabuy⚡️玩家开户首选	【鲁班跨境通-自助充值转账】	FB/GG/TT❤️官方免费开户	Affiliate 全媒体流量资源⚡️
Taboola/Outbrain /Bing⚡️一级代理	*开户投流-724h❤️人工在线**	【官方】❤️搜索套利买量投流开户	独立站⚡️开户投放
⚡️AdsPower:安全不封号,高效自动化	Google FB TK游戏代投	⚡️E.PN 虚拟卡⚡️	BINOM TRACKER 60% OFF!
比Adplexity还好用的Spy工具	ADPLEXITY + ADVERTCN	7200W全球动态不重复住宅IP代理	虚拟信用卡+独立站收款
全球虚拟卡, 支持U充值	各种主页、账单户、BM户（优势）	⚡️TikTok企业户，bm户，账单户	IPCola原生住宅IP⚡️$1.8/条双ISP
FB海外户、GG老户、TK加白老户	PTM虚拟卡[全新卡BIN+高返点]	FB虚拟卡⚡️消费越多返现越多	最大欧洲Nutra网盟BA找量
高品质·稳定高速纯净IP	FB个号1块一个	TikTok2审户/老户/国内外端口/加白	SX.ORG 高质量代理⚡235+ 地区
GG,FB,TK, 欧美源头, 欢迎合作❤️	跨境债务催收/风险代理	高权重Google老户[卖户+筛户等级]	海外斗篷・智能广告过审率高达 99%
DataImpulse⚡️纯净住宅代理仅 $1	FB企业户海外户,授信户,TK加白户	广告位出租	8500万高质量住宅IP，助力各种需求
虚拟卡返佣1%，国内持牌机构

[讨论] 怎么去除重复网址

评分

评分

社区QQ达人