找回密码
 立即注册

QQ登录

只需一步,快速开始

PropellerAds
⚡️按条S5代理⚡️静态⚡️独享⚡️5GMediabuy⚡️玩家开户首选【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户
Affiliate 全媒体流量资源⚡️Taboola/Outbrain /Bing⚡️一级代理开户投流-7*24h❤️人工在线【官方】❤️搜索套利买量投流开户
独立站⚡️开户投放Google FB TK游戏代投⚡️E.PN 虚拟卡⚡️BINOM TRACKER 60% OFF!
比Adplexity还好用的Spy工具ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理全球虚拟卡, 支持U充值
【15 年团队 - 广告自动化系统、定制开发】【ActionKey】Meta API 桥接令牌尤里改 - FB 稳定投放【神盾 AI】Meta 广告资产防护 永久免费
FB 三不限源头 - 自助下户充值转款各种主页、账单户、BM户(优势)IPCola原生住宅IP⚡️$1.8/条双ISPTK加白户/二解户/FB海外户/GG老户
最大欧洲Nutra网盟BA找量 FB高权重耐操个号⚡️稳定过审联盟收款/海外资金下发/服贸结汇✔Taboola海外户源头
全球效果广告投放平台|Vertoz IngeniousPlexSX.ORG 住宅IP | 凭码ADVERT3免费领3GB广告位出租 
查看: 20277|回复: 23

求个大文本乱序的工具

[复制链接]

42

主题

726

广告币

1031

积分

中级会员

积分
1031

社区QQ达人

发表于 2016-2-26 08:38:54 | 显示全部楼层 |阅读模式
Binom_AdvertCN
回复

使用道具 举报

16

主题

1111

广告币

2370

积分

高级会员

积分
2370
发表于 2016-2-26 08:47:33 | 显示全部楼层
按行导到数据库去 然后...

点评

然后怎么弄?  详情 回复 发表于 2016-2-26 09:04
回复 支持 反对

使用道具 举报

10

主题

396

广告币

847

积分

中级会员

积分
847

社区QQ达人

发表于 2016-2-26 08:48:50 | 显示全部楼层
1G文本,你电脑不死机么?

点评

16G内存,没什么问题。  详情 回复 发表于 2016-2-26 09:04
回复 支持 反对

使用道具 举报

42

主题

726

广告币

1031

积分

中级会员

积分
1031

社区QQ达人

 楼主| 发表于 2016-2-26 09:04:15 | 显示全部楼层
801023 发表于 2016-2-26 08:48  t& k$ C. i4 P& w
1G文本,你电脑不死机么?

7 ]  C$ p* J) M; t' v: q16G内存,没什么问题。
回复 支持 反对

使用道具 举报

42

主题

726

广告币

1031

积分

中级会员

积分
1031

社区QQ达人

 楼主| 发表于 2016-2-26 09:04:53 | 显示全部楼层
54clz 发表于 2016-2-26 08:47' a$ u+ p. J" K1 I1 U% m, p$ H
按行导到数据库去 然后...
5 r/ o/ I; D4 x- [" a
然后怎么弄?
回复 支持 反对

使用道具 举报

16

主题

1111

广告币

2370

积分

高级会员

积分
2370
发表于 2016-2-26 09:23:31 | 显示全部楼层
然后想办法打乱呗  方法多得是- _; U) {$ L# \1 @' ]9 J
" k! ~* p5 X% d0 V2 W  X5 f
比如一个简单的SQL语句 INSERT INTO articles2 SELECT * from articles ORDER BY random()1 l/ o6 M1 w3 [5 I4 h9 _3 t
你还可以通过限定条件范围  多搞几次 它就乱了
回复 支持 反对

使用道具 举报

9

主题

18

广告币

102

积分

初级会员

积分
102
发表于 2016-2-26 10:28:14 | 显示全部楼层
我有个思路,把文件切割成几个小的,然后Python处理。
回复 支持 反对

使用道具 举报

11

主题

35

广告币

281

积分

初级会员

积分
281

社区QQ达人

发表于 2016-2-26 10:35:22 | 显示全部楼层
python用readlines读取txt文本,获得总行数,然后random sample应该可以
回复 支持 反对

使用道具 举报

2

主题

1488

广告币

1830

积分

高级会员

积分
1830

社区QQ达人

发表于 2016-2-26 10:42:33 | 显示全部楼层
应该没有什么问题,先用StreamReader异步读取,要不行就使用内存文件映射读取
回复 支持 反对

使用道具 举报

22

主题

97

广告币

381

积分

初级会员

积分
381
发表于 2016-2-26 11:32:55 | 显示全部楼层
曾经在 bash下用命令行搞过,文件大小不是问题
回复 支持 反对

使用道具 举报

22

主题

97

广告币

381

积分

初级会员

积分
381
发表于 2016-2-26 11:37:06 | 显示全部楼层
回复 支持 反对

使用道具 举报

22

主题

97

广告币

381

积分

初级会员

积分
381
发表于 2016-2-26 11:42:34 | 显示全部楼层
$ cat test.txt
' M% O) X3 ^/ [5 g1
( R3 R& g# b4 z" L# W: G: D' T2
6 q$ s  l: ^) s- J/ L3
* M1 t/ H. |( t  \) K5 [! M$ j: w' d5 ]49 y5 Q, ]5 m, r/ Y
5
6 G% H7 n1 M( ?# s- A6% H. Q- b, `4 e  U. j0 b
7
- ^6 T$ [5 l/ Z# B! }9 ?1 h: X8
& ~3 T$ s& B* g7 D8 T9
4 a8 n* P% P1 t3 T100 V/ ]/ \7 e7 c. D/ V
11
7 H8 [) t# U4 ]5 Z2 S! R, ~  [129 u+ m9 r) I% k/ w8 T9 D: T! ^

8 a( i. _2 f: O/ g$ L  w) B2 |5 h% ~1 B& U4 P  d
$ cat test.txt | perl -MList::Util=shuffle -e 'print shuffle(<STDIN>);'" O5 d) f/ V+ m! J6 u
8
+ W4 N/ u# b4 |7 @12
, t& U8 ~: q3 W% a" ^7 f67 t* J. _0 y; t: G4 R% f# o6 O5 D( d3 r
2' p$ a. d' }6 E$ t. e
4
/ u. p: ~, x0 B10
* B. ^! a# k, x5 d11
9 j% H. s$ ]- _) C: K3 q4 G1
- k# l! f1 I5 @50 `9 L9 Y" ~' k
9
4 o% m+ ~5 \$ B9 ^7 R% d2 I3
& D* ]/ A7 J9 V& _5 d4 F7
8 w/ P' \. k, n; Q" z
回复 支持 反对

使用道具 举报

22

主题

97

广告币

381

积分

初级会员

积分
381
发表于 2016-2-26 12:03:10 | 显示全部楼层
或者这个,如果你系统有shuf命令:. M5 d$ I, c6 s1 m4 m6 V- \
5 v* G4 ]8 s3 a: s: g( q
root@slackware:/tmp# cat test.txt
' k, J! v; ~# U' s! K0 f" V$ k5 i1
+ g) k9 h$ ]2 K6 N2
6 Z  U* G2 E9 n; r5 r3
, U) f& p0 P" V' s1 @4% O' z9 f" y7 m( x1 S' X
5
8 K% p- E3 M" F4 G, @; D- n6; M' o" ^" o4 z& `2 i; N$ o
6+ }/ H  m  n# ?9 |3 E' O
7. P; ?" r5 S! U# G) {" s
8, Q$ ?& ?: j4 {8 \1 C
9" l" ^6 I$ r# \! ?/ Z  K2 c  \( S% M
9! q" M: m1 \" ?% p: R
105 i5 K2 m7 ]% n2 W+ @
11! t4 C/ i5 A% E9 h
12: R" P7 L. o3 E0 [5 r6 d
root@slackware:/tmp# shuf test.txt
* p/ a% G; f; ^; b; f6
; S! \- U/ ?( ^8 o. r10
6 ?; T1 `/ ?) P2 q4 [3 f! i+ F2 k11
. H2 {* b1 R2 `7
; K  c' R6 S2 w( @2 a( p% |1
, C2 t5 q! e' j, ?' C* v( u/ @5
- A! c) p  m6 t" @) Y; j3+ _5 F4 [% `' I# s. U4 l
9! S. W: x+ b/ W6 l7 y
64 E# a" z* Q" }2 @8 c
4
1 |4 s' E6 q% f12
; c8 m# p, W/ F6 ]5 T8' I0 ]* y( n  A6 }9 G* n7 E' `
9
5 H" Y% v3 H* ]  @$ g2
7 G  v5 `# f. F) z& f  S: g! L$ H
回复 支持 反对

使用道具 举报

22

主题

97

广告币

381

积分

初级会员

积分
381
发表于 2016-2-26 12:09:54 | 显示全部楼层
shuf test.txt  > output.txt

点评

这个屌爆了。我刚还准备用C#自己弄一个...  详情 回复 发表于 2016-2-26 16:42
回复 支持 反对

使用道具 举报

19

主题

290

广告币

532

积分

中级会员

积分
532

社区QQ达人

发表于 2016-2-26 15:02:43 | 显示全部楼层
楼上屌爆了
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2026-11-20 14:31 , Processed in 0.075674 second(s), 24 queries , Gzip On.

Copyright © 2001-2026, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表