AdvertCN - 广告中国

 找回密码
 立即注册

QQ登录

只需一步,快速开始

PropellerAds
Google-Bing-Mediago-Criteo开户
⚡️按条S5代理⚡️静态⚡️独享⚡️5G广告专用虚拟卡/U充值/高返点皇家代理IP⚡️#1性价比⚡️
Mediabuy⚡️玩家开户首选【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户Affiliate 全媒体流量资源⚡️
Taboola/Outbrain /Bing⚡️一级代理开户投流-7*24h❤️人工在线【官方】❤️搜索套利买量投流开户独立站⚡️开户投放
⚡️AdsPower:安全不封号,高效自动化Google FB TK游戏代投⚡️E.PN 虚拟卡⚡️BINOM TRACKER 60% OFF!
比Adplexity还好用的Spy工具ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理虚拟信用卡+独立站收款
全球虚拟卡, 支持U充值各种主页、账单户、BM户(优势)⚡️TikTok企业户,bm户,账单户IPCola原生住宅IP⚡️$1.8/条双ISP
FB海外户、GG老户、TK加白老户PTM虚拟卡[全新卡BIN+高返点]FB虚拟卡⚡️消费越多返现越多最大欧洲Nutra网盟BA找量
高品质·稳定高速纯净IP FB个号1块一个TikTok2审户/老户/国内外端口/加白SX.ORG 高质量代理⚡235+ 地区
GG,FB,TK, 欧美源头, 欢迎合作❤️跨境债务催收/风险代理高权重Google老户[卖户+筛户等级] 海外斗篷・智能广告过审率高达 99%
DataImpulse⚡️纯净住宅代理仅 $1FB企业户海外户,授信户,TK加白户广告位出租8500万高质量住宅IP,助力各种需求
虚拟卡返佣1%,国内持牌机构   
查看: 19788|回复: 23

求个大文本乱序的工具

[复制链接]

42

主题

726

广告币

1031

积分

中级会员

Rank: 3Rank: 3

积分
1031

社区QQ达人

发表于 2016-2-26 08:38:54 | 显示全部楼层 |阅读模式
回复

使用道具 举报

16

主题

1111

广告币

2370

积分

高级会员

Rank: 4

积分
2370
发表于 2016-2-26 08:47:33 | 显示全部楼层
按行导到数据库去 然后...

点评

然后怎么弄?  详情 回复 发表于 2016-2-26 09:04
回复 支持 反对

使用道具 举报

10

主题

396

广告币

847

积分

中级会员

Rank: 3Rank: 3

积分
847

社区QQ达人

发表于 2016-2-26 08:48:50 | 显示全部楼层
1G文本,你电脑不死机么?

点评

16G内存,没什么问题。  详情 回复 发表于 2016-2-26 09:04
回复 支持 反对

使用道具 举报

42

主题

726

广告币

1031

积分

中级会员

Rank: 3Rank: 3

积分
1031

社区QQ达人

 楼主| 发表于 2016-2-26 09:04:15 | 显示全部楼层
801023 发表于 2016-2-26 08:48
  K* q7 i5 N0 \5 j9 e6 h1G文本,你电脑不死机么?

# }) t# V2 G9 x: q16G内存,没什么问题。
回复 支持 反对

使用道具 举报

42

主题

726

广告币

1031

积分

中级会员

Rank: 3Rank: 3

积分
1031

社区QQ达人

 楼主| 发表于 2016-2-26 09:04:53 | 显示全部楼层
54clz 发表于 2016-2-26 08:475 r8 |! s) y2 ~. V% U( v9 W' i" P
按行导到数据库去 然后...
2 o6 X+ ]& g6 N9 @4 M; I: J
然后怎么弄?
回复 支持 反对

使用道具 举报

16

主题

1111

广告币

2370

积分

高级会员

Rank: 4

积分
2370
发表于 2016-2-26 09:23:31 | 显示全部楼层
然后想办法打乱呗  方法多得是7 U# X9 K% G$ C5 @: B  Q6 a" E; D

, G2 {3 M. w' J比如一个简单的SQL语句 INSERT INTO articles2 SELECT * from articles ORDER BY random()0 z  w/ L% w% `, k: A9 O$ |
你还可以通过限定条件范围  多搞几次 它就乱了
回复 支持 反对

使用道具 举报

9

主题

18

广告币

102

积分

初级会员

Rank: 2

积分
102
发表于 2016-2-26 10:28:14 | 显示全部楼层
我有个思路,把文件切割成几个小的,然后Python处理。
回复 支持 反对

使用道具 举报

11

主题

35

广告币

281

积分

初级会员

Rank: 2

积分
281

社区QQ达人

发表于 2016-2-26 10:35:22 | 显示全部楼层
python用readlines读取txt文本,获得总行数,然后random sample应该可以
回复 支持 反对

使用道具 举报

2

主题

1475

广告币

1818

积分

高级会员

Rank: 4

积分
1818

社区QQ达人

发表于 2016-2-26 10:42:33 | 显示全部楼层
应该没有什么问题,先用StreamReader异步读取,要不行就使用内存文件映射读取
回复 支持 反对

使用道具 举报

22

主题

97

广告币

381

积分

初级会员

Rank: 2

积分
381
发表于 2016-2-26 11:32:55 | 显示全部楼层
曾经在 bash下用命令行搞过,文件大小不是问题
回复 支持 反对

使用道具 举报

22

主题

97

广告币

381

积分

初级会员

Rank: 2

积分
381
发表于 2016-2-26 11:37:06 | 显示全部楼层
回复 支持 反对

使用道具 举报

22

主题

97

广告币

381

积分

初级会员

Rank: 2

积分
381
发表于 2016-2-26 11:42:34 | 显示全部楼层
$ cat test.txt
  E4 i. I$ M3 K2 u14 J1 s- q) p1 v
2
# a1 i& Z  N: \" L9 {# T5 X3
4 O. J  g1 x7 s; j7 S42 R9 q' h4 c9 w( e
5
! b7 L) G/ E* l# @) J6 m- Q8 h9 C6" K, V8 x$ u; ^- y- X
7( U8 p0 e8 V: H) p6 J: N! C
8
' p: e2 N8 c- G) G8 X7 t9
' I8 Z) Z- O7 h& b6 Q6 h. X10
" v* Y1 B; ?# [8 K! s11" q+ N! g! H' Q4 r: I& ^
12
+ @, g6 h. P' ]8 j3 e
3 |" J' Q- A9 g( M" m
+ c2 p* Q% B# k+ G$ cat test.txt | perl -MList::Util=shuffle -e 'print shuffle(<STDIN>);'" {6 t6 J' T* @$ M; ?* i' J6 e
8
* i6 [* l7 W3 f12
1 \& r8 l5 b7 A5 \9 {- c# {! n( ~69 d, }: Q1 ^: l% L* ?
2! u/ w7 g+ N- S/ [% J) Y: h
4( ^7 t0 B; C- o+ I" V4 G
10% K0 v7 L  @$ F3 Z/ l
11
1 c6 S/ k- k( U8 a18 ]+ F& k6 {- c! R' N( A% m0 _2 y  N
5
5 ]6 J8 q$ c& X8 r$ ~9, ^% h% Y7 c: X
3
- b0 I% \6 M1 I' V5 s4 o  P" ^7
2 o) x6 Y2 B4 j( B; C" k! o& K6 s$ X
回复 支持 反对

使用道具 举报

22

主题

97

广告币

381

积分

初级会员

Rank: 2

积分
381
发表于 2016-2-26 12:03:10 | 显示全部楼层
或者这个,如果你系统有shuf命令:+ J6 ]$ K* |, a5 E5 H$ f
( Z2 N6 c+ l1 Q( v: Y0 S
root@slackware:/tmp# cat test.txt
9 @' \; V) p- J8 I, W% f1
: ?8 g4 H  C! q  R- q& b( Q. q* K2
8 ^" g* |, M, z! `) p; P0 r; t3
$ Y1 R& A( v- ?. Q4) W! c) ]1 K% }
5' f7 s' z, c+ O) b- Y4 I
65 s* P/ `1 o2 [! a6 x% O
6  Z1 x6 M8 C! P) o( M1 u* N
78 W' t1 T8 Q; ?  r6 l
8: P& X1 T9 D2 u6 w8 Z4 m8 f3 p
9
1 [) H( p/ M, b- s1 m9: l; A; Z7 T9 H7 Y5 o9 N
10
0 Z5 J% l/ ]1 _! a" J11$ t7 J' a) @, ?, m
12
0 o/ |3 W: B4 l& C8 Q0 |# j. f' nroot@slackware:/tmp# shuf test.txt
$ @( k% ?8 B+ Z, g65 O) j# n1 W) o- t8 u1 o1 W; L7 j! I
10
: I1 S' B# d. b% E11" y& x$ H0 {5 T6 d5 V8 ^
7% T0 Y* F. p! l3 r: N6 I
1
- n/ b7 R5 Y% u) p5
" V' H1 p% S& u$ {2 E3, q5 S- @2 J$ E: z8 m& {
97 E: V+ R5 k5 H9 ~4 `4 x
69 y- X$ b( Z2 u3 D
4" m* ~$ o% H8 z# t+ b" N- t0 K
12: d+ u" g$ ]% K. o* Z) G* ^6 g
8
3 \0 _. i) H! M% r4 K" L! b9
  L7 M, H+ b: _25 r" @4 ]/ [- h0 [" X9 N8 g& j
回复 支持 反对

使用道具 举报

22

主题

97

广告币

381

积分

初级会员

Rank: 2

积分
381
发表于 2016-2-26 12:09:54 | 显示全部楼层
shuf test.txt  > output.txt

点评

这个屌爆了。我刚还准备用C#自己弄一个...  详情 回复 发表于 2016-2-26 16:42
回复 支持 反对

使用道具 举报

19

主题

290

广告币

532

积分

中级会员

Rank: 3Rank: 3

积分
532

社区QQ达人

发表于 2016-2-26 15:02:43 | 显示全部楼层
楼上屌爆了
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2026-4-4 18:32 , Processed in 0.052969 second(s), 14 queries , Gzip On, MemCache On.

Copyright © 2001-2023, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表