找回密码
 立即注册

QQ登录

只需一步,快速开始

PropellerAds
Google-Bing-Mediago-Criteo开户
⚡️按条S5代理⚡️静态⚡️独享⚡️5G广告专用虚拟卡/U充值/高返点皇家代理IP⚡️#1性价比⚡️
Mediabuy⚡️玩家开户首选【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户Affiliate 全媒体流量资源⚡️
Taboola/Outbrain /Bing⚡️一级代理开户投流-7*24h❤️人工在线【官方】❤️搜索套利买量投流开户独立站⚡️开户投放
Google FB TK游戏代投⚡️E.PN 虚拟卡⚡️BINOM TRACKER 60% OFF!比Adplexity还好用的Spy工具
ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理虚拟信用卡+独立站收款全球虚拟卡, 支持U充值
Facebook 批量上广告尤里改 - FB 稳定投放免费黑五教程(持续更新、欢迎交流)FB 三不限源头 - 自助下户充值转款
各种主页、账单户、BM户(优势)IPCola原生住宅IP⚡️$1.8/条双ISPFB资源,账单户,分享户,国内一手TK加白户/二解户/FB海外户/GG老户
海外CL企业户源头最大欧洲Nutra网盟BA找量 FB高权重耐操个号⚡️稳定过审GG,FB,TK, 欧美源头, 欢迎合作❤️
FB企业户海外户,授信户,TK加白户联盟收款/海外资金下发/服贸结汇⚡️Spend.net — 美元卡仅需$0⚡️✔Taboola海外户
广告位出租8500万高质量住宅IP,助力各种需求虚拟卡返佣1%,国内持牌机构 
查看: 20063|回复: 23

求个大文本乱序的工具

[复制链接]

42

主题

726

广告币

1031

积分

中级会员

积分
1031

社区QQ达人

发表于 2016-2-26 08:38:54 | 显示全部楼层 |阅读模式
回复

使用道具 举报

16

主题

1111

广告币

2370

积分

高级会员

积分
2370
发表于 2016-2-26 08:47:33 | 显示全部楼层
按行导到数据库去 然后...

点评

然后怎么弄?  详情 回复 发表于 2016-2-26 09:04
回复 支持 反对

使用道具 举报

10

主题

396

广告币

847

积分

中级会员

积分
847

社区QQ达人

发表于 2016-2-26 08:48:50 | 显示全部楼层
1G文本,你电脑不死机么?

点评

16G内存,没什么问题。  详情 回复 发表于 2016-2-26 09:04
回复 支持 反对

使用道具 举报

42

主题

726

广告币

1031

积分

中级会员

积分
1031

社区QQ达人

 楼主| 发表于 2016-2-26 09:04:15 | 显示全部楼层
801023 发表于 2016-2-26 08:48  ^! F3 I- [2 A9 O3 A6 s
1G文本,你电脑不死机么?

( L9 w+ p7 W8 M' i# i0 y16G内存,没什么问题。
回复 支持 反对

使用道具 举报

42

主题

726

广告币

1031

积分

中级会员

积分
1031

社区QQ达人

 楼主| 发表于 2016-2-26 09:04:53 | 显示全部楼层
54clz 发表于 2016-2-26 08:47! j: b5 u9 G7 [
按行导到数据库去 然后...

" }& V9 Z* ^' [! N4 h2 b- H然后怎么弄?
回复 支持 反对

使用道具 举报

16

主题

1111

广告币

2370

积分

高级会员

积分
2370
发表于 2016-2-26 09:23:31 | 显示全部楼层
然后想办法打乱呗  方法多得是
7 n. X6 c- ?# F$ y% u
2 N0 C9 W5 S# v. g比如一个简单的SQL语句 INSERT INTO articles2 SELECT * from articles ORDER BY random()
0 a. s; `3 ^7 Y# u. r) r7 j你还可以通过限定条件范围  多搞几次 它就乱了
回复 支持 反对

使用道具 举报

9

主题

18

广告币

102

积分

初级会员

积分
102
发表于 2016-2-26 10:28:14 | 显示全部楼层
我有个思路,把文件切割成几个小的,然后Python处理。
回复 支持 反对

使用道具 举报

11

主题

35

广告币

281

积分

初级会员

积分
281

社区QQ达人

发表于 2016-2-26 10:35:22 | 显示全部楼层
python用readlines读取txt文本,获得总行数,然后random sample应该可以
回复 支持 反对

使用道具 举报

2

主题

1486

广告币

1828

积分

高级会员

积分
1828

社区QQ达人

发表于 2016-2-26 10:42:33 | 显示全部楼层
应该没有什么问题,先用StreamReader异步读取,要不行就使用内存文件映射读取
回复 支持 反对

使用道具 举报

22

主题

97

广告币

381

积分

初级会员

积分
381
发表于 2016-2-26 11:32:55 | 显示全部楼层
曾经在 bash下用命令行搞过,文件大小不是问题
回复 支持 反对

使用道具 举报

22

主题

97

广告币

381

积分

初级会员

积分
381
发表于 2016-2-26 11:37:06 | 显示全部楼层
回复 支持 反对

使用道具 举报

22

主题

97

广告币

381

积分

初级会员

积分
381
发表于 2016-2-26 11:42:34 | 显示全部楼层
$ cat test.txt
3 c, q/ F9 H, N5 M1
2 t( s: W$ X, ]: m5 S6 d2( X! r& Y6 E) u' m4 A
38 }* u1 x" S; O( Z( @: @
4
* y# K% n, R9 {$ q5
+ j2 ~& C( B/ f& o# i+ E; ~: Z6; s+ d( V% Y+ g: s% _7 t0 o6 A
7! K& i  [$ P3 _5 u; j% r" P
88 }8 Y7 C- y; N) }0 z9 ]
9
! Z: i6 y$ o, n3 |9 J4 N3 E7 i10
( Y& T$ |: o6 ]! s# P114 E0 ^0 z& g- S1 V) h/ o
12
+ z6 W( }: o; O5 o" f. T
3 {& q9 T( m- _2 i2 M8 M& r( y5 {: w% i8 u, D
$ cat test.txt | perl -MList::Util=shuffle -e 'print shuffle(<STDIN>);'8 f8 z6 Z2 m8 {# f3 a
8" @6 \5 ~* l; W2 G$ [. I0 x
12( V8 d  P8 r  P
6- a( ?0 v1 ]7 A7 ~+ |) w# d
2
5 I( b3 _5 |1 J1 _4  R5 S" S8 O% _6 p' V; A% t( q( \
10
7 v$ T8 L6 y& R" z* S11
, G: n4 i) l9 o! p" k: t1
& S. t* f% X8 J. ^- y5% o1 T: ~) Q% O- Q0 b
95 r/ b6 d) R0 Z
3
" z  M: b8 }7 a: y; T& h: m70 O6 ~1 P' R& h+ t" n/ m
回复 支持 反对

使用道具 举报

22

主题

97

广告币

381

积分

初级会员

积分
381
发表于 2016-2-26 12:03:10 | 显示全部楼层
或者这个,如果你系统有shuf命令:
4 r% {' K0 l! J7 b
$ H& i3 Q% O/ e( y( ~9 {0 |/ zroot@slackware:/tmp# cat test.txt& \# s- v( k& C% e1 G
1
2 u) s- O0 [- Z1 n5 v2
6 n# n( D* D9 t9 L& n7 i* d# N3
2 |8 i/ R1 ^) N0 A4
. t3 h4 N; x& V% `5
- q3 U5 q6 W7 J' {0 K3 G6
3 y. U9 X' N# p5 \; r. L6
" n( F! `8 K' }+ p! }0 G3 X, `7
& J8 K. U- z, F8
6 ]! a/ X3 m4 q3 E. ~9! G0 J4 r3 {2 E
93 {! R5 A8 A7 h* g# }
10
) N% [+ J+ x7 B* Q11
3 u+ j8 m; v- M8 r12
7 t1 C" B: q0 Sroot@slackware:/tmp# shuf test.txt
' `9 H3 A0 @6 }) k7 f- L6
1 F( Y' @5 H! P$ V" L6 I# l105 H- Z5 R9 z5 t. U: f- t! s; @
11
+ e* U7 [: p5 Z0 l- D7+ j/ z) l% }$ e# j$ n/ h
1
, m1 l! g# k; V. D! F. m0 C5
( Y0 j$ v. L- w" O3 D7 q3
+ ^9 t& {' F& v2 x% N5 |3 m9
5 K: d1 k0 q2 h* j63 `7 T% ]1 s. u  r( P3 t
4) s+ b% Q4 G7 [  I& ]; @( ^
121 K: |6 Q2 K1 b' C$ H, ~3 L
81 U8 C5 U& Q/ P; u: k
9
; M4 J0 r7 S0 w0 W- `2+ r, t9 z' ?! `/ k! @( H* g
回复 支持 反对

使用道具 举报

22

主题

97

广告币

381

积分

初级会员

积分
381
发表于 2016-2-26 12:09:54 | 显示全部楼层
shuf test.txt  > output.txt

点评

这个屌爆了。我刚还准备用C#自己弄一个...  详情 回复 发表于 2016-2-26 16:42
回复 支持 反对

使用道具 举报

19

主题

290

广告币

532

积分

中级会员

积分
532

社区QQ达人

发表于 2016-2-26 15:02:43 | 显示全部楼层
楼上屌爆了
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2026-8-14 13:40 , Processed in 0.136658 second(s), 24 queries , Gzip On.

Copyright © 2001-2026, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表