找回密码
 立即注册

QQ登录

只需一步,快速开始

PropellerAds
⚡️按条S5代理⚡️静态⚡️独享⚡️5GMediabuy⚡️玩家开户首选【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户
Affiliate 全媒体流量资源⚡️Taboola/Outbrain /Bing⚡️一级代理开户投流-7*24h❤️人工在线【官方】❤️搜索套利买量投流开户
独立站⚡️开户投放Google FB TK游戏代投⚡️E.PN 虚拟卡⚡️BINOM TRACKER 60% OFF!
比Adplexity还好用的Spy工具ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理全球虚拟卡, 支持U充值
【15 年团队 - 广告自动化系统、定制开发】【ActionKey】Meta API 桥接令牌尤里改 - FB 稳定投放【神盾 AI】Meta 广告资产防护 永久免费
FB 三不限源头 - 自助下户充值转款各种主页、账单户、BM户(优势)IPCola原生住宅IP⚡️$1.8/条双ISPTK加白户/二解户/FB海外户/GG老户
最大欧洲Nutra网盟BA找量 FB高权重耐操个号⚡️稳定过审联盟收款/海外资金下发/服贸结汇✔Taboola海外户源头
全球效果广告投放平台|Vertoz IngeniousPlexSX.ORG 住宅IP | 凭码ADVERT3免费领3GB广告位出租 
查看: 20275|回复: 23

求个大文本乱序的工具

[复制链接]

42

主题

726

广告币

1031

积分

中级会员

积分
1031

社区QQ达人

发表于 2016-2-26 08:38:54 | 显示全部楼层 |阅读模式
Binom_AdvertCN
回复

使用道具 举报

16

主题

1111

广告币

2370

积分

高级会员

积分
2370
发表于 2016-2-26 08:47:33 | 显示全部楼层
按行导到数据库去 然后...

点评

然后怎么弄?  详情 回复 发表于 2016-2-26 09:04
回复 支持 反对

使用道具 举报

10

主题

396

广告币

847

积分

中级会员

积分
847

社区QQ达人

发表于 2016-2-26 08:48:50 | 显示全部楼层
1G文本,你电脑不死机么?

点评

16G内存,没什么问题。  详情 回复 发表于 2016-2-26 09:04
回复 支持 反对

使用道具 举报

42

主题

726

广告币

1031

积分

中级会员

积分
1031

社区QQ达人

 楼主| 发表于 2016-2-26 09:04:15 | 显示全部楼层
801023 发表于 2016-2-26 08:48" J2 P/ j. L7 a! ~6 m
1G文本,你电脑不死机么?
7 t& p; j9 M( R
16G内存,没什么问题。
回复 支持 反对

使用道具 举报

42

主题

726

广告币

1031

积分

中级会员

积分
1031

社区QQ达人

 楼主| 发表于 2016-2-26 09:04:53 | 显示全部楼层
54clz 发表于 2016-2-26 08:47
' r: S; C9 T8 e" ~9 X. F' ]按行导到数据库去 然后...
4 {7 ^( B+ p* B
然后怎么弄?
回复 支持 反对

使用道具 举报

16

主题

1111

广告币

2370

积分

高级会员

积分
2370
发表于 2016-2-26 09:23:31 | 显示全部楼层
然后想办法打乱呗  方法多得是2 Y  M% }' I, u! m  k6 b. P2 I
; A% D3 z: s9 H) w! \, D
比如一个简单的SQL语句 INSERT INTO articles2 SELECT * from articles ORDER BY random()8 ]# ^' l3 S1 s+ r, [
你还可以通过限定条件范围  多搞几次 它就乱了
回复 支持 反对

使用道具 举报

9

主题

18

广告币

102

积分

初级会员

积分
102
发表于 2016-2-26 10:28:14 | 显示全部楼层
我有个思路,把文件切割成几个小的,然后Python处理。
回复 支持 反对

使用道具 举报

11

主题

35

广告币

281

积分

初级会员

积分
281

社区QQ达人

发表于 2016-2-26 10:35:22 | 显示全部楼层
python用readlines读取txt文本,获得总行数,然后random sample应该可以
回复 支持 反对

使用道具 举报

2

主题

1488

广告币

1830

积分

高级会员

积分
1830

社区QQ达人

发表于 2016-2-26 10:42:33 | 显示全部楼层
应该没有什么问题,先用StreamReader异步读取,要不行就使用内存文件映射读取
回复 支持 反对

使用道具 举报

22

主题

97

广告币

381

积分

初级会员

积分
381
发表于 2016-2-26 11:32:55 | 显示全部楼层
曾经在 bash下用命令行搞过,文件大小不是问题
回复 支持 反对

使用道具 举报

22

主题

97

广告币

381

积分

初级会员

积分
381
发表于 2016-2-26 11:37:06 | 显示全部楼层
回复 支持 反对

使用道具 举报

22

主题

97

广告币

381

积分

初级会员

积分
381
发表于 2016-2-26 11:42:34 | 显示全部楼层
$ cat test.txt 1 L. N3 a  U, n- h! ]( ^
1
2 s' z* O4 G, Q9 e  F9 ^2# A- }% U/ J2 L& B" s" H3 Y# D
3" V3 O, c. k* l. B: e
4" |( G- d: f1 c5 f# h- G
5+ j9 z2 y9 |5 j% P: N( M  u
6
9 A3 S& a! I; m. L. ]7. s  c' B4 u3 Q7 W7 s8 x
89 a# ~0 l0 j" j. ^0 ~
94 R  M) Y& `+ M' i
10% }0 P! U; g7 a6 ?: t7 s  O; q3 n
11
; f) A* ^; i. w- }2 M12
7 H3 W' ], g8 B; c6 t  ~+ L/ Y# Z
. \$ Y' ~. S3 T
$ cat test.txt | perl -MList::Util=shuffle -e 'print shuffle(<STDIN>);'
0 d+ z" u9 E2 w1 h# q+ N3 ~81 D. n5 Q, ~* |) i
12
7 I9 T* G# m0 D6( _* s" ~, ^- m0 }
20 r4 F; \/ O7 j0 `9 G! ~! i
4
/ R# y: w/ G' x10* {, V7 z& p2 W  \: ?* R' S
113 Z, u% [' R6 S" `0 C. j
1- t& S" H& M/ {- k9 ]0 B1 s
5
8 s! o" u5 H, z& h9 `9
' N; i1 U5 N6 A4 g& Z4 W! R7 y0 g3$ e3 q4 }/ r5 S$ z" k. k0 q
7
9 ~& H. w2 ~+ p2 I) d
回复 支持 反对

使用道具 举报

22

主题

97

广告币

381

积分

初级会员

积分
381
发表于 2016-2-26 12:03:10 | 显示全部楼层
或者这个,如果你系统有shuf命令:
: u8 b6 B1 A% `9 t8 ]# E, R! |" t/ j+ G0 `* W
root@slackware:/tmp# cat test.txt
! s# c+ x- I( Z: r1) l: l! P) {; g
2& V* m) Z# W& D2 F5 r
3
4 [& }* d0 b# d/ J+ i43 ^# u9 m+ ?4 G- V/ q
5
. |$ n. l/ T% a: ]% g" C6
0 p- y6 M" U3 q6
; Z6 H; j0 c1 ]; V4 W: C7
$ H' i- Q& ~# Q8
) |* M- I9 X- H3 [9 c( ~8 H7 M9/ l4 o, w1 d1 x
9! t+ ]! Z! y# p2 y3 n
10
1 h0 O; J: X2 V, {11& n7 M, r7 y* Y
12( K! ?$ j* L2 h. y; @/ q
root@slackware:/tmp# shuf test.txt
6 Q9 S4 u5 n5 c3 q$ g' t6 O8 X6: `' X2 z, K  m0 W! X% T
10
& p# ^' ~& n8 e  ~* ~+ T11
% V. Y9 ~+ C' |" h2 Y7
7 O! q: ]! k# _! N7 u* c14 R! V1 R$ ^0 V3 @: {8 R) a1 y
5" y$ ?" e* u3 M# }' x, \( L
3
: r- A" ?3 ]3 P& d9 W& @  a9( X6 L0 c- I9 W* ~# o1 w+ W
6: W1 G; g' A9 i6 w7 m
4
; `+ _7 C2 }' C/ `12
7 v8 {5 G  }& t) i' |8& L7 s; B2 [1 l0 \6 _
9
: J1 F( ^0 e" N# ]$ N2 ~% L0 L. n2
5 J( _: u0 z8 w7 o
回复 支持 反对

使用道具 举报

22

主题

97

广告币

381

积分

初级会员

积分
381
发表于 2016-2-26 12:09:54 | 显示全部楼层
shuf test.txt  > output.txt

点评

这个屌爆了。我刚还准备用C#自己弄一个...  详情 回复 发表于 2016-2-26 16:42
回复 支持 反对

使用道具 举报

19

主题

290

广告币

532

积分

中级会员

积分
532

社区QQ达人

发表于 2016-2-26 15:02:43 | 显示全部楼层
楼上屌爆了
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2026-11-20 14:11 , Processed in 0.077291 second(s), 24 queries , Gzip On.

Copyright © 2001-2026, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表