找回密码
 立即注册

QQ登录

只需一步,快速开始

PropellerAds
⚡️按条S5代理⚡️静态⚡️独享⚡️5GMediabuy⚡️玩家开户首选【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户
Affiliate 全媒体流量资源⚡️Taboola/Outbrain /Bing⚡️一级代理开户投流-7*24h❤️人工在线【官方】❤️搜索套利买量投流开户
独立站⚡️开户投放Google FB TK游戏代投⚡️E.PN 虚拟卡⚡️BINOM TRACKER 60% OFF!
比Adplexity还好用的Spy工具ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理全球虚拟卡, 支持U充值
【15 年团队 - 广告自动化系统、定制开发】【ActionKey】Meta API 桥接令牌尤里改 - FB 稳定投放【神盾 AI】Meta 广告资产防护 永久免费
FB 三不限源头 - 自助下户充值转款各种主页、账单户、BM户(优势)IPCola原生住宅IP⚡️$1.8/条双ISPTK加白户/二解户/FB海外户/GG老户
最大欧洲Nutra网盟BA找量 FB高权重耐操个号⚡️稳定过审联盟收款/海外资金下发/服贸结汇✔Taboola海外户源头
全球效果广告投放平台|Vertoz IngeniousPlexSX.ORG 住宅IP | 凭码ADVERT3免费领3GB广告位出租 
楼主: bluescharp

求个大文本乱序的工具

[复制链接]

23

主题

160

广告币

317

积分

初级会员

积分
317

社区QQ达人

发表于 2016-2-26 15:36:20 来自手机 | 显示全部楼层
Binom_AdvertCN
回复 支持 反对

使用道具 举报

42

主题

726

广告币

1031

积分

中级会员

积分
1031

社区QQ达人

 楼主| 发表于 2016-2-26 16:42:42 | 显示全部楼层
fei 发表于 2016-2-26 12:09- j6 c* J; s9 S* u( R5 ?0 T$ r: u
shuf test.txt  > output.txt
) R! {7 R; R% T3 ]+ c8 d7 n& n" I
这个屌爆了。我刚还准备用C#自己弄一个...
回复 支持 反对

使用道具 举报

4

主题

567

广告币

1010

积分

中级会员

积分
1010

社区QQ达人

发表于 2016-3-28 09:11:20 | 显示全部楼层
你一篇文章需要多少行数据?我的情况是每篇100行,一共200M的txt,分割成了200个txt文件,文件名1.txt到200.txt,php随机读取10个txt,每个txt随机取20行。1G的VPS上跑4个站完全没压力。

点评

随机文章写入数据库吗?不然每次访问结果都不一样? 一共生产多少文章?我之前试过,不过不是直接句子的方式,也大概200M左右的语料库,效果不太好,没什么IP。  详情 回复 发表于 2016-3-28 15:29
回复 支持 反对

使用道具 举报

42

主题

726

广告币

1031

积分

中级会员

积分
1031

社区QQ达人

 楼主| 发表于 2016-3-28 15:29:44 | 显示全部楼层
quanchengxue 发表于 2016-3-28 09:114 Y4 E& ?6 {) S- E9 T+ K: S
你一篇文章需要多少行数据?我的情况是每篇100行,一共200M的txt,分割成了200个txt文件,文件名1.txt到200 ...
) D3 [7 m& l( J
随机文章写入数据库吗?不然每次访问结果都不一样?
; L. Y, `/ L6 U4 ?$ m一共生产多少文章?我之前试过,不过不是直接句子的方式,也大概200M左右的语料库,效果不太好,没什么IP。

点评

不写数据库,直接生成缓存,或者直接生成HTML文件,缓存目录用两层,第一层用MD5的12位,第二层用34位,缓存文件名用md5命名。你用1层目录的话大概能放25W个页面,两层的话大概是6500W。而且看你站的生存周期,估计  详情 回复 发表于 2016-3-28 15:54
回复 支持 反对

使用道具 举报

4

主题

567

广告币

1010

积分

中级会员

积分
1010

社区QQ达人

发表于 2016-3-28 15:54:36 | 显示全部楼层
bluescharp 发表于 2016-3-28 15:292 n3 g  P' D# T# I3 H
随机文章写入数据库吗?不然每次访问结果都不一样?7 ]- Y; u8 y2 k* r+ l
一共生产多少文章?我之前试过,不过不是直接句子的 ...
- P- c2 `1 P5 ?+ ~$ {, z. B3 V
不写数据库,直接生成缓存,或者直接生成HTML文件,缓存目录用两层,第一层用MD5的12位,第二层用34位,缓存文件名用md5命名。你用1层目录的话大概能放25W个页面,两层的话大概是6500W。而且看你站的生存周期,估计从收录到被K,两层目录应该绝对够用了。

点评

我之前也是用文件缓存。一方面是小文件太多,I/O效率低。另外一方面,删除起来不是一般的麻烦。 而且文件缓存占用空间比数据库要大。曾经尝试用redis,效果不好。 你一般生产多少页面?  详情 回复 发表于 2016-3-28 19:43
回复 支持 反对

使用道具 举报

42

主题

726

广告币

1031

积分

中级会员

积分
1031

社区QQ达人

 楼主| 发表于 2016-3-28 19:43:17 | 显示全部楼层
quanchengxue 发表于 2016-3-28 15:54
/ X6 K/ @5 r5 D! ?9 R! g1 x& j不写数据库,直接生成缓存,或者直接生成HTML文件,缓存目录用两层,第一层用MD5的12位,第二层用34位, ...

) c9 H# [/ y7 M0 v6 j) @$ c6 H. h我之前也是用文件缓存。一方面是小文件太多,I/O效率低。另外一方面,删除起来不是一般的麻烦。
# F  Z& A$ g: X. Y" n1 ~而且文件缓存占用空间比数据库要大。曾经尝试用redis,效果不好。
) y, ]( M8 [+ k' p你一般生产多少页面?

点评

我的数据没你的那么多,最多的时候生成了200多W缓存,我自己的情况倒是没发现I/O效率低的情况,google爬最快的时候也就3秒1个页面,一个VPS上就放4个站,硬盘30G的也足够用了,毕竟数据量不算大。 你那个数据量大了  详情 回复 发表于 2016-3-28 22:20
回复 支持 反对

使用道具 举报

4

主题

567

广告币

1010

积分

中级会员

积分
1010

社区QQ达人

发表于 2016-3-28 22:20:25 | 显示全部楼层
bluescharp 发表于 2016-3-28 19:43
1 E! I: y( x8 v我之前也是用文件缓存。一方面是小文件太多,I/O效率低。另外一方面,删除起来不是一般的麻烦。
/ l/ n) I) ]3 _% ]而且文件 ...

& P' V. l8 i# q我的数据没你的那么多,最多的时候生成了200多W缓存,我自己的情况倒是没发现I/O效率低的情况,google爬最快的时候也就3秒1个页面,一个VPS上就放4个站,硬盘30G的也足够用了,毕竟数据量不算大。
1 G+ P4 q9 z/ G3 L8 E你那个数据量大了不少,但是看你说服务器内存16G,其他配置应该也不会差,你可以试试这种方法。

点评

像你们这样的大数据盈利靠什么?亚马逊还是gg ads?还是其他?  详情 回复 发表于 2016-4-5 15:40
回复 支持 反对

使用道具 举报

7

主题

2

广告币

111

积分

初级会员

积分
111
发表于 2016-4-5 15:40:35 | 显示全部楼层
quanchengxue 发表于 2016-3-28 22:20
3 X( P& c3 J1 m% T7 O( A我的数据没你的那么多,最多的时候生成了200多W缓存,我自己的情况倒是没发现I/O效率低的情况,google爬 ...

# N- m0 b% P  A/ s* c; @像你们这样的大数据盈利靠什么?亚马逊还是gg ads?还是其他?
回复 支持 反对

使用道具 举报

0

主题

3

广告币

7

积分

禁止发言

积分
7
发表于 2017-10-26 10:01:26 | 显示全部楼层
你媽个垃圾
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2026-11-20 14:42 , Processed in 0.074526 second(s), 20 queries , Gzip On.

Copyright © 2001-2026, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表