求个大文本乱序的工具

bluescharp

txt文本，1G以上，按行乱序。
求工具。之前用的都不行。

54clz

按行导到数据库去 然后...

801023

1G文本，你电脑不死机么？

bluescharp

801023 发表于 2016-2-26 08:48
1G文本，你电脑不死机么？

" J& y, U: v% r* {: G16G内存，没什么问题。

bluescharp

54clz 发表于 2016-2-26 08:47
$ P- |( v# m  k; G按行导到数据库去 然后...

9 [4 t' H- E1 j3 r$ E& F然后怎么弄？

54clz

然后想办法打乱呗  方法多得是

比如一个简单的SQL语句 INSERT INTO articles2 SELECT * from articles ORDER BY random()
3 x( @& y6 \' y# F( X# b( x9 w* v你还可以通过限定条件范围  多搞几次 它就乱了

James_Liu

我有个思路，把文件切割成几个小的，然后Python处理。

seanhere

python用readlines读取txt文本，获得总行数，然后random sample应该可以

李小冲

应该没有什么问题，先用StreamReader异步读取，要不行就使用内存文件映射读取

fei

曾经在 bash下用命令行搞过，文件大小不是问题

fei

http://stackoverflow.com/questio ... d-line-or-in-a-shel

fei

$ cat test.txt
1
1 h, X" F! M/ M, Q2
6 G, {* U# N( f! R3
4
5
8 H3 q) i+ F# r: f+ P, y* d6
9 ^% N# x0 ]. H) y$ P7
8
% }, m5 e3 }1 Y+ X8 ~& p9
10
3 O  F& y& ~) E1 y7 }# G6 \5 K11
12
7 Y% L  v7 \% v( E1 o4 |1 Z- }- w- D/ C
- ?  ^$ H. t9 \
$ cat test.txt | perl -MList::Util=shuffle -e 'print shuffle(<STDIN>);'
5 \4 h. D3 ]' Q, ], a: c) M2 F& q! ]) P8
9 U; c% T' n) V% ?% D12
6
2
9 Q8 f  ^/ z$ \4
10
; |- p1 A) `0 W; ?6 t11
9 m2 t7 c+ L5 g1 t$ k) U1
5
9
1 u8 L  I5 H$ `) O) M3
7

fei

或者这个，如果你系统有shuf命令：
" A8 x! p/ W% G
root@slackware:/tmp# cat test.txt
- B" k* H# b2 h" ]! G9 z: Y1
2
" I7 U3 p" a3 i0 [) M1 i9 {9 n! G3
/ [2 Q8 o7 C' G8 ]$ ~4
6 i+ I. I/ k& a4 f( l; u9 t( h5
6 x0 ~' A: B& h9 m# A4 ]6
6
5 \! Y" u9 P6 x1 S: |7
8
, t: c3 `+ r4 E7 ]' K: l9
, F, L" a! l9 X+ l0 f9
10
11
; f: Q) v& X4 n" i7 W12
root@slackware:/tmp# shuf test.txt
' ~' c7 m  a8 ^! u& G- [& |; F6
. [* K3 p/ M+ k/ @: k; Y" B2 I: b10
2 h+ G0 b3 t0 |2 l# [' k0 D: z11
, U2 X) t! j6 h3 V7
1
* X4 W" e; J( o% E  L5
6 {) C7 M! }) F5 ~6 P; T1 r3 s6 o3
9
: P1 T4 t& u+ m- T$ p) A5 J  Q6
! x, p( Q8 f7 ]3 {( o4
& _# i- I5 }, P2 B12
4 B" L+ I  k: k8
5 L1 V; c4 I; T9
2
, r9 G( y" C4 B+ V3 h

fei

shuf test.txt  > output.txt

bjzhush

楼上屌爆了