AdvertCN - 广告中国

 找回密码
 立即注册

QQ登录

只需一步,快速开始

Adsterra China
 谷歌+Bing+TT+MSN官方代理 
⚡️按条S5代理⚡️静态⚡️独享⚡️5G皇家代理IP⚡️#1性价比⚡️Mediabuy⚡️玩家开户首选
【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户Affiliate 全媒体流量资源⚡️Taboola/Outbrain /Bing⚡️一级代理
开户投流-7*24h❤️人工在线【官方】❤️搜索套利买量投流开户独立站⚡️开户投放FB BM不限额,短id账单户
E.PN 虚拟卡DuoPlus专注打造跨境电商云手机BINOM TRACKER 60% OFF!比Adplexity还好用的Spy工具
ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理虚拟信用卡+独立站收款全球虚拟卡, 支持U充值
Facebook 批量上广告尤里改 - FB 稳定投放免费黑五教程(持续更新、欢迎交流)FB 三不限源头 - 自助下户充值转款
各种主页、账单户、BM户(优势)⚡️个人户,bm户不限额,账单户Google、Bing官方总代  联盟流量开户FB资源,账单户,分享户,国内一手
FB企业户BM户账单户源头海外CL企业户源头PTM全球虚拟卡—进来交个朋友!PTM虚拟卡⚡️费率透明⚡️额度随心
FB虚拟卡⚡️消费越多返现越多虚拟卡 - Pay2.House【找量】BA独家Nutra单找量广告位出租
8500万高质量住宅IP,助力各种需求虚拟卡返佣1%,国内持牌机构  
查看: 19030|回复: 23

求个大文本乱序的工具

[复制链接]

42

主题

726

广告币

1031

积分

中级会员

Rank: 3Rank: 3

积分
1031

社区QQ达人

发表于 2016-2-26 08:38:54 | 显示全部楼层 |阅读模式
回复

使用道具 举报

16

主题

1110

广告币

2369

积分

高级会员

Rank: 4

积分
2369
发表于 2016-2-26 08:47:33 | 显示全部楼层
按行导到数据库去 然后...

点评

然后怎么弄?  详情 回复 发表于 2016-2-26 09:04
回复 支持 反对

使用道具 举报

10

主题

396

广告币

847

积分

中级会员

Rank: 3Rank: 3

积分
847

社区QQ达人

发表于 2016-2-26 08:48:50 | 显示全部楼层
1G文本,你电脑不死机么?

点评

16G内存,没什么问题。  详情 回复 发表于 2016-2-26 09:04
回复 支持 反对

使用道具 举报

42

主题

726

广告币

1031

积分

中级会员

Rank: 3Rank: 3

积分
1031

社区QQ达人

 楼主| 发表于 2016-2-26 09:04:15 | 显示全部楼层
801023 发表于 2016-2-26 08:483 k% M: |' f. P+ S) Z: ^1 c. V
1G文本,你电脑不死机么?

$ Q) H$ j( N0 \0 L. w8 p16G内存,没什么问题。
回复 支持 反对

使用道具 举报

42

主题

726

广告币

1031

积分

中级会员

Rank: 3Rank: 3

积分
1031

社区QQ达人

 楼主| 发表于 2016-2-26 09:04:53 | 显示全部楼层
54clz 发表于 2016-2-26 08:47
" A& ]6 t! R5 P" o2 `. Z' r& X+ N按行导到数据库去 然后...

/ n8 E- w2 A7 |% ^" o8 z然后怎么弄?
回复 支持 反对

使用道具 举报

16

主题

1110

广告币

2369

积分

高级会员

Rank: 4

积分
2369
发表于 2016-2-26 09:23:31 | 显示全部楼层
然后想办法打乱呗  方法多得是
0 [& [0 m6 ^& k6 |2 N; u3 A* _% _
# A5 x& H" f0 o) g+ H) T5 f比如一个简单的SQL语句 INSERT INTO articles2 SELECT * from articles ORDER BY random()* g! w1 \8 ~, i" Y9 R
你还可以通过限定条件范围  多搞几次 它就乱了
回复 支持 反对

使用道具 举报

9

主题

17

广告币

101

积分

初级会员

Rank: 2

积分
101
发表于 2016-2-26 10:28:14 | 显示全部楼层
我有个思路,把文件切割成几个小的,然后Python处理。
回复 支持 反对

使用道具 举报

11

主题

35

广告币

281

积分

初级会员

Rank: 2

积分
281

社区QQ达人

发表于 2016-2-26 10:35:22 | 显示全部楼层
python用readlines读取txt文本,获得总行数,然后random sample应该可以
回复 支持 反对

使用道具 举报

2

主题

1467

广告币

1810

积分

高级会员

Rank: 4

积分
1810

社区QQ达人

发表于 2016-2-26 10:42:33 | 显示全部楼层
应该没有什么问题,先用StreamReader异步读取,要不行就使用内存文件映射读取
回复 支持 反对

使用道具 举报

22

主题

97

广告币

381

积分

初级会员

Rank: 2

积分
381
发表于 2016-2-26 11:32:55 | 显示全部楼层
曾经在 bash下用命令行搞过,文件大小不是问题
回复 支持 反对

使用道具 举报

22

主题

97

广告币

381

积分

初级会员

Rank: 2

积分
381
发表于 2016-2-26 11:37:06 | 显示全部楼层
回复 支持 反对

使用道具 举报

22

主题

97

广告币

381

积分

初级会员

Rank: 2

积分
381
发表于 2016-2-26 11:42:34 | 显示全部楼层
$ cat test.txt 1 k8 Q- J! C( m7 P5 @3 a  y: i* l: j5 Y
1; k: s0 y4 x' R( x: D* L# {3 L) m4 t
2
( O) ^" g0 q/ l! d/ v3
: Q9 _- Z3 Q. E, s& l0 g. M4% ~, E% F7 w! m8 q% Q0 ?0 Y9 j2 k
5
8 J, m( Q" ?8 Z6; s' j' E8 T. K0 J+ o- g4 t
72 s3 V* s& N1 T, M( I5 a& v
8
) U+ {& S1 j8 J* G+ ?. X/ F& N9& L. n9 C9 H" T- f! r
104 y0 G6 [: B3 I, p3 u4 t0 e( X: ?$ I
11! I! x% Q5 R8 V
12
! ?* r1 ?2 L+ f% ^$ y: E6 w
$ V; l6 f: u7 `9 ]# ~
. i; B% _# @+ L& R" j! f5 S4 |$ cat test.txt | perl -MList::Util=shuffle -e 'print shuffle(<STDIN>);'
# ?& \  g3 |& r8 h, ^% Q8* b* c  V' ^0 H: c2 ~$ h/ J
12* ~% R  S( ]/ W4 r1 l0 C/ q- Y
6
6 `. i( Y3 r2 L2
2 Z' k; A6 H( D$ _! {1 G. D* {& N6 M4& Y! @3 @# i9 Z+ g/ w7 \
10
3 P+ l8 |% o" c4 A# V11
8 g7 {1 {9 J0 {" s. `1+ Q9 S0 g( |  C4 F
5
) A- z7 l0 s  C, O3 @; N9
9 C8 s1 T% l3 I; g/ _' g3
4 Z# u' v6 ~' R( E! H. v: a7
; d, u. `+ A( |, _! d
回复 支持 反对

使用道具 举报

22

主题

97

广告币

381

积分

初级会员

Rank: 2

积分
381
发表于 2016-2-26 12:03:10 | 显示全部楼层
或者这个,如果你系统有shuf命令:
, }4 I( K- K% ?0 u  J
8 a0 X3 t- s0 X2 u+ C% j1 qroot@slackware:/tmp# cat test.txt
/ H/ W8 ]' g& r7 ^1% L% U. O* ~1 \6 e
2
2 x5 s6 |0 c6 y6 D' W' h3
. Z& @* g5 s8 S4
; B& o/ s1 u7 a% T" @0 m  ~55 g/ \0 {* {( B6 |4 k+ P2 A, V
6
4 a4 F4 d7 }/ M$ k1 ~+ q6  A7 h$ H/ H' ]( C7 ~1 a
7+ l1 ?  x  Z; S0 J% z# j
8: |8 h% R0 Z- @( V1 K( g1 x
9
2 G. V+ ^) c- B94 K: y( ]8 F6 {( Y) ?4 x7 D
10( H3 u6 a( S& r- j. I- i
11
; j, Y) N. W( Y6 h4 g! `; O# N6 p12/ Y4 B. D8 t7 v- k$ o! _& q( ~; ]) w7 |
root@slackware:/tmp# shuf test.txt ; @: M  A( }- b- w) s8 A/ {& B
6; s' i6 E# A$ x3 N. v
10! G2 Q$ b$ a5 g- z1 B6 X
11
' Y$ B3 o0 N6 Y6 r- U) A7' }  `8 E. \* P4 ]' q' X9 @
1
5 M+ Y  y5 k1 s% q- o8 V5/ E  h/ Q3 e- j# v. |
35 }& [( S" _. U, V) h3 n: R" J
94 a& G/ {7 {* U& P2 Y0 D6 D
6
' M: O! v. p5 E) ?7 H/ x, b6 w4
7 d- \8 t8 m) D7 Y+ \  _( V120 L, O- o+ C* o0 z
8
6 H) f9 B! f& h9 M: A) |93 N2 s! `% d0 k8 d. E
2
% V! C. k9 P3 R) Q2 V3 E) Y; [
回复 支持 反对

使用道具 举报

22

主题

97

广告币

381

积分

初级会员

Rank: 2

积分
381
发表于 2016-2-26 12:09:54 | 显示全部楼层
shuf test.txt  > output.txt
回复 支持 反对

使用道具 举报

19

主题

290

广告币

532

积分

中级会员

Rank: 3Rank: 3

积分
532

社区QQ达人

发表于 2016-2-26 15:02:43 | 显示全部楼层
楼上屌爆了
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2025-7-5 18:18 , Processed in 0.059143 second(s), 18 queries , Gzip On, MemCache On.

Copyright © 2001-2023, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表