求个大文本乱序的工具

bluescharp

txt文本，1G以上，按行乱序。
求工具。之前用的都不行。

54clz

按行导到数据库去 然后...

801023

1G文本，你电脑不死机么？

bluescharp

801023 发表于 2016-2-26 08:48
) h; e& S, U1 D0 P# |1 a# }- C1G文本，你电脑不死机么？

16G内存，没什么问题。

bluescharp

54clz 发表于 2016-2-26 08:47
按行导到数据库去 然后...

5 g# T# y6 k9 H* i然后怎么弄？

54clz

然后想办法打乱呗  方法多得是

* Q5 w. @+ U) t) h0 y0 M比如一个简单的SQL语句 INSERT INTO articles2 SELECT * from articles ORDER BY random()
你还可以通过限定条件范围  多搞几次 它就乱了

James_Liu

我有个思路，把文件切割成几个小的，然后Python处理。

seanhere

python用readlines读取txt文本，获得总行数，然后random sample应该可以

李小冲

应该没有什么问题，先用StreamReader异步读取，要不行就使用内存文件映射读取

fei

曾经在 bash下用命令行搞过，文件大小不是问题

fei

http://stackoverflow.com/questio ... d-line-or-in-a-shel

fei

$ cat test.txt
- b' U. E* P4 ?1
2
3
4
: R" @5 C# B) E( r. [3 w, ^7 P5
6
0 X9 [6 B( t$ k7
8
9
10
11
: x7 B9 `/ V7 r3 u1 y! U7 Y12
" J) v! G8 P% y1 X5 q, H
3 T  ?, ^. v( K$ g# L& \
% B$ \. F- S' C$ cat test.txt | perl -MList::Util=shuffle -e 'print shuffle(<STDIN>);'
8
6 @1 _2 t* R; [% J7 v! A12
( g% F& C. B2 }" l) ~# U, d6
" b6 O, x0 T' ]% k2
4
10
9 F$ ~+ }& e* J' c# {0 _! J! Z11
1
& _) S0 J( }5 n- U' A/ x" S5
6 G4 S* x3 u  x0 d6 ?9
& p. v( R' ~  o( _, V. a3
# |7 [1 L+ J9 {7
0 V/ }, s, p6 a, Y" e5 }

fei

或者这个，如果你系统有shuf命令：

root@slackware:/tmp# cat test.txt
' A' A( |  y1 `6 ?7 G' x1
2
3
4
& z+ `; O$ Q/ F7 g3 s2 D' A+ r5
4 a4 C  o( O9 q# c! d6
: M5 q: S7 Q, F3 _6
" o- P  s6 A3 l' Y1 W7
8
0 K6 V% o7 J- g/ i9
2 M" v- p/ U; ^7 m# D; w  B9
10
/ ~0 c' A# A+ v7 G11
7 d/ q; f2 A; `$ R9 G: l4 w12
! w4 O7 Q1 d  `# z4 U) T8 oroot@slackware:/tmp# shuf test.txt
! Z/ S" k+ f. [. r' G, e6
10
11
7
0 w1 H3 l( g! X4 X1
& C7 n% W& j5 A7 U9 [, p# I6 A5
3
9
6
4
12
. i( s0 ?% S' S# ~6 y. t8
7 l) R2 V* [; L9 [% z: W3 R; r9
; g* Q( Z/ |. e, P6 w! o1 o2

fei

shuf test.txt  > output.txt

bjzhush

楼上屌爆了