找回密码
 立即注册

QQ登录

只需一步,快速开始

PropellerAds
Google-Bing-Mediago-Criteo开户
⚡️按条S5代理⚡️静态⚡️独享⚡️5G广告专用虚拟卡/U充值/高返点皇家代理IP⚡️#1性价比⚡️
Mediabuy⚡️玩家开户首选【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户Affiliate 全媒体流量资源⚡️
Taboola/Outbrain /Bing⚡️一级代理开户投流-7*24h❤️人工在线【官方】❤️搜索套利买量投流开户独立站⚡️开户投放
Google FB TK游戏代投⚡️E.PN 虚拟卡⚡️BINOM TRACKER 60% OFF!比Adplexity还好用的Spy工具
ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理虚拟信用卡+独立站收款全球虚拟卡, 支持U充值
Facebook 批量上广告尤里改 - FB 稳定投放免费黑五教程(持续更新、欢迎交流)FB 三不限源头 - 自助下户充值转款
各种主页、账单户、BM户(优势)IPCola原生住宅IP⚡️$1.8/条双ISPFB资源,账单户,分享户,国内一手TK加白户/二解户/FB海外户/GG老户
海外CL企业户源头最大欧洲Nutra网盟BA找量 FB高权重耐操个号⚡️稳定过审GG,FB,TK, 欧美源头, 欢迎合作❤️
FB企业户海外户,授信户,TK加白户联盟收款/海外资金下发/服贸结汇⚡️Spend.net — 美元卡仅需$0⚡️✔Taboola海外户
广告位出租8500万高质量住宅IP,助力各种需求虚拟卡返佣1%,国内持牌机构 
查看: 20061|回复: 23

求个大文本乱序的工具

[复制链接]

42

主题

726

广告币

1031

积分

中级会员

积分
1031

社区QQ达人

发表于 2016-2-26 08:38:54 | 显示全部楼层 |阅读模式
回复

使用道具 举报

16

主题

1111

广告币

2370

积分

高级会员

积分
2370
发表于 2016-2-26 08:47:33 | 显示全部楼层
按行导到数据库去 然后...

点评

然后怎么弄?  详情 回复 发表于 2016-2-26 09:04
回复 支持 反对

使用道具 举报

10

主题

396

广告币

847

积分

中级会员

积分
847

社区QQ达人

发表于 2016-2-26 08:48:50 | 显示全部楼层
1G文本,你电脑不死机么?

点评

16G内存,没什么问题。  详情 回复 发表于 2016-2-26 09:04
回复 支持 反对

使用道具 举报

42

主题

726

广告币

1031

积分

中级会员

积分
1031

社区QQ达人

 楼主| 发表于 2016-2-26 09:04:15 | 显示全部楼层
801023 发表于 2016-2-26 08:48$ g8 S$ K$ D5 }+ b
1G文本,你电脑不死机么?
3 Y2 l- G* Z! k2 s: V
16G内存,没什么问题。
回复 支持 反对

使用道具 举报

42

主题

726

广告币

1031

积分

中级会员

积分
1031

社区QQ达人

 楼主| 发表于 2016-2-26 09:04:53 | 显示全部楼层
54clz 发表于 2016-2-26 08:47
8 {, g' n% S2 H" ^按行导到数据库去 然后...

( a) ]4 Z5 Z: D; r然后怎么弄?
回复 支持 反对

使用道具 举报

16

主题

1111

广告币

2370

积分

高级会员

积分
2370
发表于 2016-2-26 09:23:31 | 显示全部楼层
然后想办法打乱呗  方法多得是
" C% T0 ]7 E/ G' `! a0 H
1 {: t$ {+ G" k7 J比如一个简单的SQL语句 INSERT INTO articles2 SELECT * from articles ORDER BY random()
, s: H  n1 F1 c5 @你还可以通过限定条件范围  多搞几次 它就乱了
回复 支持 反对

使用道具 举报

9

主题

18

广告币

102

积分

初级会员

积分
102
发表于 2016-2-26 10:28:14 | 显示全部楼层
我有个思路,把文件切割成几个小的,然后Python处理。
回复 支持 反对

使用道具 举报

11

主题

35

广告币

281

积分

初级会员

积分
281

社区QQ达人

发表于 2016-2-26 10:35:22 | 显示全部楼层
python用readlines读取txt文本,获得总行数,然后random sample应该可以
回复 支持 反对

使用道具 举报

2

主题

1486

广告币

1828

积分

高级会员

积分
1828

社区QQ达人

发表于 2016-2-26 10:42:33 | 显示全部楼层
应该没有什么问题,先用StreamReader异步读取,要不行就使用内存文件映射读取
回复 支持 反对

使用道具 举报

22

主题

97

广告币

381

积分

初级会员

积分
381
发表于 2016-2-26 11:32:55 | 显示全部楼层
曾经在 bash下用命令行搞过,文件大小不是问题
回复 支持 反对

使用道具 举报

22

主题

97

广告币

381

积分

初级会员

积分
381
发表于 2016-2-26 11:37:06 | 显示全部楼层
回复 支持 反对

使用道具 举报

22

主题

97

广告币

381

积分

初级会员

积分
381
发表于 2016-2-26 11:42:34 | 显示全部楼层
$ cat test.txt & S% R7 V) \3 b" j* ?
1
- r! [& m' X* l/ e2" p) h% k$ e2 e# S! O2 k
3% b( W# a' Z# \6 F3 F7 d6 O% T
4& q" h/ R; Q6 r" Z6 O" X1 ^
54 e2 l' ~" x7 o, q/ v
6
8 H, t5 `# M& S' |7
- S; j2 X0 T- A! |- k0 o# o8
9 M; E! G4 J- X3 O' @! [3 h9
) s' `& d% V  q10
% J  ]  T2 p' `/ Q7 F11
9 C$ d- j* x  [" M9 X12- ?+ [6 f7 X" M& e! a$ i* Q  h

% e5 V4 x5 S- y4 b' o
4 y( k& Y7 E$ U0 i$ cat test.txt | perl -MList::Util=shuffle -e 'print shuffle(<STDIN>);'* ~( z! a% p; z3 }. a0 A: ]
8
% T3 U$ n; B7 g( p& p1 H12( A2 _. X; Q( H: V
6
% J  M& N& q  @+ N* ], p27 C* |2 F* w& p8 x2 S" W4 C) F/ O
45 J3 c! p0 }/ z" c5 x
10! A9 E' C% P4 g
116 k; S! _4 r- z; @: L
1
* x* U5 F/ Q0 a( ?3 k0 }5/ \) g. w% E, Z' F. z$ |
9
8 L3 B, r) @* }7 @5 I( R; ]. v3
; E; M! `6 j# ^- D) c8 `; f7
; y! N9 d9 `' F" P# {0 x+ u
回复 支持 反对

使用道具 举报

22

主题

97

广告币

381

积分

初级会员

积分
381
发表于 2016-2-26 12:03:10 | 显示全部楼层
或者这个,如果你系统有shuf命令:) u4 s# |1 R+ K

$ V$ }* j& a9 v' A6 g5 oroot@slackware:/tmp# cat test.txt
% o0 \1 s' w5 L8 G0 s6 U1
& Q2 D# `6 C3 U3 C# H1 p4 R0 ]2 ?2. x7 @' N9 e' x
3: V1 O. u; K- [5 j0 N& g
44 O6 @3 U8 _* w' s) }
5
& p+ c. g9 }! I9 @/ V. m2 ~$ H6
0 g0 h7 l+ Z( n' L  G4 i7 i9 T& q+ h6
# ]0 \- s  P: O& B6 g' i7
2 I) T& _, o8 ]" f3 }3 D- M. [4 e8; i7 J- w7 R4 l& i& _8 p
9* j" u4 W4 G9 u5 g, L
9
3 V! Y& A2 v8 R, R8 X7 d% f106 Q3 y4 s0 G# g# x3 e5 q
11
7 N5 L  o/ \  A4 D3 X* g5 ~" D. @12
6 h2 W0 w) G5 rroot@slackware:/tmp# shuf test.txt 2 _2 K9 E" S8 t: F' w
6
0 i# O/ I! U- N* w# k7 a100 I' Y+ M3 D/ y, ]1 ~6 t
11
9 w, T2 C& }- m+ x9 n) ], _9 ~7) j. W0 z0 d6 Y
12 Z4 J4 ]$ T& X0 m( f% o
5" F  q- t" w/ Y3 Z
3& U: }: _) g3 C5 e" D
9
' }$ k! g' Y2 L+ `3 G6
/ e$ m6 A% s5 c7 h, p& s2 x8 A4
8 }6 S$ j/ o4 g) i( K2 |2 X8 q12
3 s& W3 ~$ M+ j+ W8
3 R" ], r0 Q1 |$ i9% N* Y$ x. A3 Y7 v0 r9 \6 |7 d. O
2
# J9 Y' C' I& L" X' _( o
回复 支持 反对

使用道具 举报

22

主题

97

广告币

381

积分

初级会员

积分
381
发表于 2016-2-26 12:09:54 | 显示全部楼层
shuf test.txt  > output.txt

点评

这个屌爆了。我刚还准备用C#自己弄一个...  详情 回复 发表于 2016-2-26 16:42
回复 支持 反对

使用道具 举报

19

主题

290

广告币

532

积分

中级会员

积分
532

社区QQ达人

发表于 2016-2-26 15:02:43 | 显示全部楼层
楼上屌爆了
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2026-8-14 12:54 , Processed in 0.097669 second(s), 24 queries , Gzip On.

Copyright © 2001-2026, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表