求个大文本乱序的工具

bluescharp

txt文本，1G以上，按行乱序。
求工具。之前用的都不行。
% w) V4 K9 ~0 b. z2 ]

54clz

按行导到数据库去 然后...

801023

1G文本，你电脑不死机么？

bluescharp

801023 发表于 2016-2-26 08:48
' P: Q; |4 j1 U1G文本，你电脑不死机么？

, u" \2 S+ `, |- V+ t16G内存，没什么问题。

bluescharp

54clz 发表于 2016-2-26 08:47
! G; T: k1 \. R! {. s3 o" j按行导到数据库去 然后...

然后怎么弄？

54clz

然后想办法打乱呗  方法多得是

比如一个简单的SQL语句 INSERT INTO articles2 SELECT * from articles ORDER BY random()
你还可以通过限定条件范围  多搞几次 它就乱了

James_Liu

我有个思路，把文件切割成几个小的，然后Python处理。

seanhere

python用readlines读取txt文本，获得总行数，然后random sample应该可以

李小冲

应该没有什么问题，先用StreamReader异步读取，要不行就使用内存文件映射读取

fei

曾经在 bash下用命令行搞过，文件大小不是问题

fei

http://stackoverflow.com/questio ... d-line-or-in-a-shel

fei

$ cat test.txt
/ j* ]; B# ~6 b* C5 K1
2
1 r2 ^6 Q+ ]8 k$ }3
4
5
6
: a- N% m7 H+ l+ m5 Y: A7
8
9
10
0 g0 _% k5 r! v  j3 @, A( H5 ~7 S11
# n- ?6 S' O) ]4 C3 {. D1 P' Q/ `12

- P! N3 o# [% m
$ cat test.txt | perl -MList::Util=shuffle -e 'print shuffle(<STDIN>);'
% g6 u% }3 j2 j) m) s9 ^3 |; c8
12
5 K8 {/ p) X0 r3 A& w) M9 ~6
3 E& A1 z% V) c) h( y2
4 h  h) f- T2 G* s1 f; c2 L7 G4
+ \6 N( Y1 V  c9 q& {10
11
3 Z5 C, ?# r" ]1
5
9
3
7

fei

或者这个，如果你系统有shuf命令：
: y$ `( I5 f: y- t
root@slackware:/tmp# cat test.txt
0 M/ |8 ?3 T3 t, u) u" |( n4 R1
$ I8 \1 ^4 H$ i% C2
3
$ B2 `6 f/ l0 ]/ \4
5
6
# ^1 Q' }( U3 h% x6
7
- Q3 d+ j4 z" m, ~% G# B6 I" d8
1 o0 c5 ^# p5 ^+ _! i7 H5 x* t. B6 K9
8 }, ~5 Z, X; \4 y; n9
10
11
1 S" T& [( H8 D; \6 I( d6 |+ Y9 Z5 y12
, |) h4 K+ _! E: `2 s3 N( ~3 broot@slackware:/tmp# shuf test.txt
6
  I7 q- Q% n& H% l10
; c& D  O: C% }! B& c! Z- g11
7
1
; Z  A5 Q; `' T/ s* b3 d7 q5
3
9 i7 }. ]1 K' e; o- c- p9
6
9 R* K* M! w6 ^2 ^* ?4
1 p/ V$ [2 V6 q0 q' I12
8
4 y5 y3 w& Y! o* L& d' P9
2

fei

shuf test.txt  > output.txt

bjzhush

楼上屌爆了