AdvertCN - 广告中国

 找回密码
 立即注册

QQ登录

只需一步,快速开始

 谷歌+Bing+TT+MSN官方代理 
⚡️按条S5代理⚡️静态⚡️独享⚡️5G⚡️最干净<Wifi住宅+5G移动>IP代理泰国仓储,本土仓发货2-3元/单
指纹浏览器,就用AdsPower谷歌/FB/Bing/Yahoo代理商开户7200W全球动态不重复住宅IP代理全球优质流量,选TrafficStars
出售Facebook,友缘号,FB广告号,insFB/TT/KW 加白开户ADPLEXITY + ADVERTCN比Adplexity还好用的Spy工具
广
FB/Google/TK海外多媒体极速下户
BINOM TRACKER 60% OFF!MediaGo+Taboola+Ob开户百度国际MediaGo⚡️让产品狂奔全球百度国际,高点击转化,快速放量
百度国际MediaGo,独家原生流量虚拟信用卡+独立站收款行业首创新型指纹Cloak, 谷歌奇效!Kookeey⚡️100%独享⚡️原生住宅IP
⚡IPFoxy住宅代理全场88折⚡全球虚拟卡, 支持U充值免账户投放 FB 广告(送项目)2024做什么 - Media buy 项目库
免费黑五教程(持续更新、欢迎交流)Facebook 批量上广告Bridgeway - 联盟营销网络IPCola 全新住宅代理 ⚡️ 免费试用
各种主页、账单户、BM户(优势)⚡️个人户,bm户不限额,账单户Adsterra 的CPA/CPM/CPC 网站流量在线注册美国/英国/香港等海外公司
EU KETO/CBD - JumbleberryFB二三解1元/个9Proxy ⚡️ $0.04/IP, 无限带宽 cloak斗篷/ss/nutra/cpa/Dating
E.PN 虚拟卡Asocks代理服务器$3/GB高薪诚求实力FB投手(独立站)《全新虚拟卡+全球收付款》
广告位出租全球低价纯净住宅/移动IP-免费试用广告代投, 东南亚物流, 虚拟信用卡VMLogin指纹浏览器+多账号防关联
查看: 13690|回复: 23

求个大文本乱序的工具

[复制链接]

42

主题

726

广告币

1031

积分

中级会员

Rank: 3Rank: 3

积分
1031

社区QQ达人

发表于 2016-2-26 08:38:54 | 显示全部楼层 |阅读模式
回复

使用道具 举报

16

主题

1095

广告币

2354

积分

高级会员

Rank: 4

积分
2354
发表于 2016-2-26 08:47:33 | 显示全部楼层
按行导到数据库去 然后...

点评

然后怎么弄?  详情 回复 发表于 2016-2-26 09:04
回复 支持 反对

使用道具 举报

10

主题

396

广告币

847

积分

中级会员

Rank: 3Rank: 3

积分
847

社区QQ达人

发表于 2016-2-26 08:48:50 | 显示全部楼层
1G文本,你电脑不死机么?

点评

16G内存,没什么问题。  详情 回复 发表于 2016-2-26 09:04
回复 支持 反对

使用道具 举报

42

主题

726

广告币

1031

积分

中级会员

Rank: 3Rank: 3

积分
1031

社区QQ达人

 楼主| 发表于 2016-2-26 09:04:15 | 显示全部楼层
801023 发表于 2016-2-26 08:48" j  u( _+ g  |- K2 ^2 s' r! n
1G文本,你电脑不死机么?

9 j" U( A; A8 l4 s9 \1 r% H2 u16G内存,没什么问题。
回复 支持 反对

使用道具 举报

42

主题

726

广告币

1031

积分

中级会员

Rank: 3Rank: 3

积分
1031

社区QQ达人

 楼主| 发表于 2016-2-26 09:04:53 | 显示全部楼层
54clz 发表于 2016-2-26 08:47' y5 J1 w; d. k3 r0 k
按行导到数据库去 然后...
. r6 W. P* k: W; W* o- F4 R+ h9 @
然后怎么弄?
回复 支持 反对

使用道具 举报

16

主题

1095

广告币

2354

积分

高级会员

Rank: 4

积分
2354
发表于 2016-2-26 09:23:31 | 显示全部楼层
然后想办法打乱呗  方法多得是( M, q: s0 P4 Y7 b4 x! r+ y3 U# |5 A

8 }4 r! j- j: I6 r" L  n比如一个简单的SQL语句 INSERT INTO articles2 SELECT * from articles ORDER BY random()' x4 g2 ?% q$ L; j' {2 S/ Y- M! y
你还可以通过限定条件范围  多搞几次 它就乱了
回复 支持 反对

使用道具 举报

9

主题

17

广告币

101

积分

初级会员

Rank: 2

积分
101
发表于 2016-2-26 10:28:14 | 显示全部楼层
我有个思路,把文件切割成几个小的,然后Python处理。
回复 支持 反对

使用道具 举报

11

主题

35

广告币

281

积分

初级会员

Rank: 2

积分
281

社区QQ达人

发表于 2016-2-26 10:35:22 | 显示全部楼层
python用readlines读取txt文本,获得总行数,然后random sample应该可以
回复 支持 反对

使用道具 举报

2

主题

1351

广告币

1712

积分

高级会员

Rank: 4

积分
1712

社区QQ达人

发表于 2016-2-26 10:42:33 | 显示全部楼层
应该没有什么问题,先用StreamReader异步读取,要不行就使用内存文件映射读取
回复 支持 反对

使用道具 举报

22

主题

97

广告币

381

积分

初级会员

Rank: 2

积分
381
发表于 2016-2-26 11:32:55 | 显示全部楼层
曾经在 bash下用命令行搞过,文件大小不是问题
回复 支持 反对

使用道具 举报

22

主题

97

广告币

381

积分

初级会员

Rank: 2

积分
381
发表于 2016-2-26 11:37:06 | 显示全部楼层
回复 支持 反对

使用道具 举报

22

主题

97

广告币

381

积分

初级会员

Rank: 2

积分
381
发表于 2016-2-26 11:42:34 | 显示全部楼层
$ cat test.txt 3 c. o/ K% p9 r$ I0 N
1) _; P' ]  `6 M0 d- ]
2
0 i+ x$ H% H$ u, ~* K7 t3! _- V) ]1 n2 b! a
48 E1 F! K( y7 X. P" g4 P: x
5
4 Q8 _1 w2 U: n7 M, j1 r. w, Z6
( U. n6 @# C% L5 }+ W7
& O! e4 f+ j! R. s* f8 `/ W8
4 D5 T. W) ]1 s( }0 P3 e! W$ b9
4 Z6 m- ^, _+ o10
3 w5 w8 Q; c2 |2 C+ U7 y2 I11& v0 f4 l3 b! O( R$ g
12
, [& d+ {; n* I: C. Y
1 M+ n7 V' t9 ?- l3 t5 G! W% J+ t' F; k4 Y, {
$ cat test.txt | perl -MList::Util=shuffle -e 'print shuffle(<STDIN>);'$ I) j: H+ C$ T  h2 S; ^" h1 x; L
8. N+ Y$ i# f9 x- `3 l
12/ f9 G  w9 d/ [3 k2 a! o4 Z# U
6
2 J5 O  `& w/ |/ e( @2
( ?8 @! [: L- s2 h: H4
) |6 r! x$ ?1 k10, j* V% Z1 N6 C
118 e- h# b0 c* n) G' g  Q6 G
1
! {3 [+ w% {# ]* P- [+ }7 E! O5
' ^$ y. w& Y( g& y5 W+ v9
7 w2 o3 I% O& L+ X; ~( C% H" b37 b% P6 I2 S3 Z9 B* `( |
7
4 ~' ]1 ^; K  j2 N: b) p
回复 支持 反对

使用道具 举报

22

主题

97

广告币

381

积分

初级会员

Rank: 2

积分
381
发表于 2016-2-26 12:03:10 | 显示全部楼层
或者这个,如果你系统有shuf命令:
" s9 x2 t: m$ |7 o# {
+ i: e% K# i# S+ c; {4 vroot@slackware:/tmp# cat test.txt
+ }; p7 j$ U4 B# L11 `9 ]/ |' _& |$ k. [$ {
2/ z% ]. M& j: y& Z
3
5 a( _) W, p- D& u8 x7 Q- i4 m49 N3 t, z6 i$ H! Z
54 N5 \2 p$ H2 t7 b5 w
64 ~$ x' r6 N: v0 p, w
6, s1 u3 Y$ p7 l. q2 c5 e
74 J7 C0 i1 B3 M7 a) c% N$ T
8
1 A/ o: O/ q) q; L2 O! O0 g9
9 L; I2 B% V% g# A/ y# E( R2 w8 t90 u; [6 j/ _/ F  l) T! [
10
1 y+ \: k2 I+ S7 \11% s' S, W4 T; I5 u/ y
122 L$ i/ }( R; q  z( d9 P6 N( }" \
root@slackware:/tmp# shuf test.txt . y# j) ^/ `* L
68 h  O! s. f; I' K  g9 C& ^
105 C" z+ }) E9 B( W
118 O0 N* g4 Z) R; y1 T0 n
77 O% Q0 r0 u' D6 [; z6 }
1$ g" A* l+ @+ l1 b* |* u: G3 g
5
* `# V0 E4 y6 ^. j* ?* g3. u( K. z' [5 j3 k/ p% y+ |2 {! I' t
9% ]9 T" }, ]9 R
6
3 h, h* f. M% |: I4 ~; H4
9 \7 r9 \+ O, m- s: u1 h2 E2 h12
0 [, L1 {/ F" z8" w1 Y$ t  v8 U& `
9
  P8 V6 u& }/ O4 C, I0 Z. S2
* h9 r: u6 [* ?- V
回复 支持 反对

使用道具 举报

22

主题

97

广告币

381

积分

初级会员

Rank: 2

积分
381
发表于 2016-2-26 12:09:54 | 显示全部楼层
shuf test.txt  > output.txt

点评

这个屌爆了。我刚还准备用C#自己弄一个...  详情 回复 发表于 2016-2-26 16:42
回复 支持 反对

使用道具 举报

19

主题

289

广告币

531

积分

中级会员

Rank: 3Rank: 3

积分
531

社区QQ达人

发表于 2016-2-26 15:02:43 | 显示全部楼层
楼上屌爆了
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2024-4-27 03:59 , Processed in 0.057505 second(s), 14 queries , Gzip On, MemCache On.

Copyright © 2001-2023, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表