求个大文本乱序的工具

bluescharp

txt文本，1G以上，按行乱序。
: l; Y! y) N) U- V7 f7 R求工具。之前用的都不行。
# L. P7 x8 e+ G* Z: t* r

54clz

按行导到数据库去 然后...

801023

1G文本，你电脑不死机么？

bluescharp

801023 发表于 2016-2-26 08:48
4 Y% n6 I: v- l7 u, p7 u1G文本，你电脑不死机么？

16G内存，没什么问题。

bluescharp

54clz 发表于 2016-2-26 08:47
按行导到数据库去 然后...

6 u- Q# d9 b4 K# \4 |, U# w% p然后怎么弄？

54clz

然后想办法打乱呗  方法多得是

比如一个简单的SQL语句 INSERT INTO articles2 SELECT * from articles ORDER BY random()
你还可以通过限定条件范围  多搞几次 它就乱了

James_Liu

我有个思路，把文件切割成几个小的，然后Python处理。

seanhere

python用readlines读取txt文本，获得总行数，然后random sample应该可以

李小冲

应该没有什么问题，先用StreamReader异步读取，要不行就使用内存文件映射读取

fei

曾经在 bash下用命令行搞过，文件大小不是问题

fei

http://stackoverflow.com/questio ... d-line-or-in-a-shel

fei

$ cat test.txt
1
- v, p6 {) a* A2
5 L/ ~. x9 U9 A) m) D) Q' }3
2 T3 J3 |; v+ J" n, @4
# n3 J0 ]. N$ A' J9 g; y5
6
7
8 z* b- m/ j$ V8
9
. o; H2 \2 W6 ~5 _% I1 X" y10
# ^6 h  B% ]4 }* ?11
12


) |6 d2 ~2 ?- k- E* }$ cat test.txt | perl -MList::Util=shuffle -e 'print shuffle(<STDIN>);'
! ^. _, m/ G7 ]+ q' g5 f8
7 V" O8 A3 o4 i1 W+ q3 ]4 B12
6
2
' f1 ?: a6 e! s& v0 e4
8 e2 w. |( B& k10
11
1
& d" a# _: o6 }+ `2 @5
$ f" p4 t" V' I0 `2 E9
; z' s0 q) K4 s5 w' w$ n1 P  ~3
7
/ n( J. s0 k% a1 h/ G2 V. _& I

fei

或者这个，如果你系统有shuf命令：

root@slackware:/tmp# cat test.txt
1
& t% N1 |! W- Y- Q. n8 K2
3
4
/ Y, q, |9 E. I" L$ F: y+ r5
6
  A/ u0 [/ i- O" W1 c6
7
8
9
9
2 ]& \" S+ d8 N5 }9 I) M10
2 S+ s" z/ Z, g1 M: R11
1 ~& G( [* ]1 y2 F# ~& Z8 D  D12
: R) j6 F8 S" T$ o  w% Proot@slackware:/tmp# shuf test.txt
6
10
, K* K1 a. E$ x8 N3 ~1 J% _11
7
& z7 w% K6 h+ |  j( {! @# o; Q8 \- Q/ H: ~1
5
3
1 [# a0 r. D+ M; v% v9
) z6 l) J$ [* f7 n6
4
12
4 q, n! E: j& }; I  a0 m/ |8
9 a6 S2 @0 C# r3 S9
2

fei

shuf test.txt  > output.txt

bjzhush

楼上屌爆了