求个大文本乱序的工具

bluescharp

txt文本，1G以上，按行乱序。
求工具。之前用的都不行。
" {+ Z- H: L, P) r, M

54clz

按行导到数据库去 然后...

801023

1G文本，你电脑不死机么？

bluescharp

801023 发表于 2016-2-26 08:48
1G文本，你电脑不死机么？

16G内存，没什么问题。

bluescharp

54clz 发表于 2016-2-26 08:47
按行导到数据库去 然后...

0 |1 ~. J, i' X2 f5 j! V8 k: k' p9 s然后怎么弄？

54clz

然后想办法打乱呗  方法多得是

比如一个简单的SQL语句 INSERT INTO articles2 SELECT * from articles ORDER BY random()
' M4 K' ~+ J: O( ]1 p你还可以通过限定条件范围  多搞几次 它就乱了

James_Liu

我有个思路，把文件切割成几个小的，然后Python处理。

seanhere

python用readlines读取txt文本，获得总行数，然后random sample应该可以

李小冲

应该没有什么问题，先用StreamReader异步读取，要不行就使用内存文件映射读取

fei

曾经在 bash下用命令行搞过，文件大小不是问题

fei

http://stackoverflow.com/questio ... d-line-or-in-a-shel

fei

$ cat test.txt
  u5 B7 I* S0 d( Z1
  i" \9 x/ _# o  S' }. a5 g8 Y2
3
% J5 V3 }! S  ?0 Z1 [* b4
! v2 n; e9 ~" ~8 [; n5
6
7
6 h1 b* q: q) b9 r8
9
10
11
4 r8 G# G0 o, W7 @- H2 q/ N' W12

/ b0 `. C1 a9 U) k% b/ B7 n
$ cat test.txt | perl -MList::Util=shuffle -e 'print shuffle(<STDIN>);'
8
% r% P7 U% B1 |- _; o7 y7 |1 K12
4 |; ~% \. c+ m- P+ f) Q5 }9 k6
# |+ l- e3 i( `# h( y) h/ e: A2
4
1 ~( t' D! H9 w! V* z10
- S: t+ T! F* J$ t2 s0 v11
1
; K# c/ R) @9 z* q5 b' J5
9
3
7
# X  C3 E4 X  i* M1 b& g0 J4 L

fei

或者这个，如果你系统有shuf命令：

root@slackware:/tmp# cat test.txt
1
2
4 b# x+ f9 [+ {, f% Z6 f) ^3
6 O# u" S8 ~7 F% a' c4
5
, M; H) c" Q. ]* M+ r3 [; Y6
: x) i" U/ E8 |( i/ x( `1 E8 F6
7
7 _' d  H  g# S7 B8 E; ?8
6 J* z1 d& F! j0 e2 \( W' |9
9
4 I7 y1 e5 e2 t10
( g! ]8 j; Z9 v& t* j# _" e11
  O6 ?* R" J  A" D% W2 ]12
; `; H5 B- @# J$ y* Mroot@slackware:/tmp# shuf test.txt
' @% N- H* u+ Y' [6 d. W6
2 _( e* O; R7 g# R+ W. Y( |10
' }. [: }2 E+ C6 `6 \11
; l; _& P1 a; E) H. p( V7
3 E& O% e4 ^5 |" v; G! `+ F1
5 r5 f8 s5 O3 ~' z5
% l; Y1 b7 l$ v- C, |( Y3
( D7 K. H+ m1 a. j0 ]  e4 e- l9
1 [5 n9 R/ j$ b6
# {( a8 N6 K  x1 o4 Y6 O4
/ B% J" g8 u! Z9 o& y: o12
8
, q2 J+ n8 A. t% g+ Z. X- j) w9
" `, o  N+ d( S7 r+ c3 V0 A1 G3 z; E' M2
5 }/ S4 h/ x$ f7 q* T4 P

fei

shuf test.txt  > output.txt

bjzhush

楼上屌爆了