AdvertCN - 广告中国

 找回密码
 立即注册

QQ登录

只需一步,快速开始

Adsterra China
 谷歌+Bing+TT+MSN官方代理 
⚡️按条S5代理⚡️静态⚡️独享⚡️5G皇家代理IP⚡️#1性价比⚡️Mediabuy⚡️玩家开户首选
【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户Affiliate 全媒体流量资源⚡️Taboola/Outbrain /Bing⚡️一级代理
开户投流-7*24h❤️人工在线【官方】❤️搜索套利买量投流开户独立站⚡️开户投放FB BM不限额,短id账单户
E.PN 虚拟卡DuoPlus专注打造跨境电商云手机BINOM TRACKER 60% OFF!比Adplexity还好用的Spy工具
ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理虚拟信用卡+独立站收款全球虚拟卡, 支持U充值
Facebook 批量上广告尤里改 - FB 稳定投放免费黑五教程(持续更新、欢迎交流)FB 三不限源头 - 自助下户充值转款
各种主页、账单户、BM户(优势)⚡️个人户,bm户不限额,账单户Google、Bing官方总代  联盟流量开户FB资源,账单户,分享户,国内一手
FB企业户BM户账单户源头海外CL企业户源头PTM全球虚拟卡—进来交个朋友!PTM虚拟卡⚡️费率透明⚡️额度随心
FB虚拟卡⚡️消费越多返现越多虚拟卡 - Pay2.House【找量】BA独家Nutra单找量广告位出租
8500万高质量住宅IP,助力各种需求虚拟卡返佣1%,国内持牌机构  
12
返回列表 发新帖
楼主: bluescharp

求个大文本乱序的工具

[复制链接]

23

主题

160

广告币

317

积分

初级会员

Rank: 2

积分
317

社区QQ达人

发表于 2016-2-26 15:36:20 来自手机 | 显示全部楼层
回复 支持 反对

使用道具 举报

42

主题

726

广告币

1031

积分

中级会员

Rank: 3Rank: 3

积分
1031

社区QQ达人

 楼主| 发表于 2016-2-26 16:42:42 | 显示全部楼层
fei 发表于 2016-2-26 12:09+ ^) C% k/ _* Q4 t7 c0 A
shuf test.txt  > output.txt
4 w1 F7 v$ R- j% s
这个屌爆了。我刚还准备用C#自己弄一个...
回复 支持 反对

使用道具 举报

4

主题

537

广告币

982

积分

中级会员

Rank: 3Rank: 3

积分
982

社区QQ达人

发表于 2016-3-28 09:11:20 | 显示全部楼层
你一篇文章需要多少行数据?我的情况是每篇100行,一共200M的txt,分割成了200个txt文件,文件名1.txt到200.txt,php随机读取10个txt,每个txt随机取20行。1G的VPS上跑4个站完全没压力。

点评

随机文章写入数据库吗?不然每次访问结果都不一样? 一共生产多少文章?我之前试过,不过不是直接句子的方式,也大概200M左右的语料库,效果不太好,没什么IP。  详情 回复 发表于 2016-3-28 15:29
回复 支持 反对

使用道具 举报

42

主题

726

广告币

1031

积分

中级会员

Rank: 3Rank: 3

积分
1031

社区QQ达人

 楼主| 发表于 2016-3-28 15:29:44 | 显示全部楼层
quanchengxue 发表于 2016-3-28 09:117 c( e( z: a! I* u7 E5 K$ p; [
你一篇文章需要多少行数据?我的情况是每篇100行,一共200M的txt,分割成了200个txt文件,文件名1.txt到200 ...
$ d( q, r2 f$ T* l& B/ q
随机文章写入数据库吗?不然每次访问结果都不一样?  R- U9 ?* P* @+ r2 y2 z
一共生产多少文章?我之前试过,不过不是直接句子的方式,也大概200M左右的语料库,效果不太好,没什么IP。

点评

不写数据库,直接生成缓存,或者直接生成HTML文件,缓存目录用两层,第一层用MD5的12位,第二层用34位,缓存文件名用md5命名。你用1层目录的话大概能放25W个页面,两层的话大概是6500W。而且看你站的生存周期,估计  详情 回复 发表于 2016-3-28 15:54
回复 支持 反对

使用道具 举报

4

主题

537

广告币

982

积分

中级会员

Rank: 3Rank: 3

积分
982

社区QQ达人

发表于 2016-3-28 15:54:36 | 显示全部楼层
bluescharp 发表于 2016-3-28 15:296 U$ u: [5 G% N. V8 I# ]
随机文章写入数据库吗?不然每次访问结果都不一样?% q8 ~8 t1 r9 h) ~
一共生产多少文章?我之前试过,不过不是直接句子的 ...
. N- s( _, K1 `& {4 t
不写数据库,直接生成缓存,或者直接生成HTML文件,缓存目录用两层,第一层用MD5的12位,第二层用34位,缓存文件名用md5命名。你用1层目录的话大概能放25W个页面,两层的话大概是6500W。而且看你站的生存周期,估计从收录到被K,两层目录应该绝对够用了。

点评

我之前也是用文件缓存。一方面是小文件太多,I/O效率低。另外一方面,删除起来不是一般的麻烦。 而且文件缓存占用空间比数据库要大。曾经尝试用redis,效果不好。 你一般生产多少页面?  详情 回复 发表于 2016-3-28 19:43
回复 支持 反对

使用道具 举报

42

主题

726

广告币

1031

积分

中级会员

Rank: 3Rank: 3

积分
1031

社区QQ达人

 楼主| 发表于 2016-3-28 19:43:17 | 显示全部楼层
quanchengxue 发表于 2016-3-28 15:54
, [2 P7 m! a+ C" ~. \不写数据库,直接生成缓存,或者直接生成HTML文件,缓存目录用两层,第一层用MD5的12位,第二层用34位, ...
* P" Y: d1 ~5 R) M' u% ?7 @2 O
我之前也是用文件缓存。一方面是小文件太多,I/O效率低。另外一方面,删除起来不是一般的麻烦。& |5 e& y2 ^$ {5 j5 g/ P+ }
而且文件缓存占用空间比数据库要大。曾经尝试用redis,效果不好。
' b8 X: ~* {+ e你一般生产多少页面?

点评

我的数据没你的那么多,最多的时候生成了200多W缓存,我自己的情况倒是没发现I/O效率低的情况,google爬最快的时候也就3秒1个页面,一个VPS上就放4个站,硬盘30G的也足够用了,毕竟数据量不算大。 你那个数据量大了  详情 回复 发表于 2016-3-28 22:20
回复 支持 反对

使用道具 举报

4

主题

537

广告币

982

积分

中级会员

Rank: 3Rank: 3

积分
982

社区QQ达人

发表于 2016-3-28 22:20:25 | 显示全部楼层
bluescharp 发表于 2016-3-28 19:43
& Q  x( G& I) `我之前也是用文件缓存。一方面是小文件太多,I/O效率低。另外一方面,删除起来不是一般的麻烦。
! V$ F7 m  @5 E: X& F6 {& y- J7 w而且文件 ...

) H1 B' i$ ~  f' M; q7 o5 ?我的数据没你的那么多,最多的时候生成了200多W缓存,我自己的情况倒是没发现I/O效率低的情况,google爬最快的时候也就3秒1个页面,一个VPS上就放4个站,硬盘30G的也足够用了,毕竟数据量不算大。
+ p) G2 v4 t9 r. a) G你那个数据量大了不少,但是看你说服务器内存16G,其他配置应该也不会差,你可以试试这种方法。

点评

像你们这样的大数据盈利靠什么?亚马逊还是gg ads?还是其他?  详情 回复 发表于 2016-4-5 15:40
回复 支持 反对

使用道具 举报

7

主题

2

广告币

111

积分

初级会员

Rank: 2

积分
111
发表于 2016-4-5 15:40:35 | 显示全部楼层
quanchengxue 发表于 2016-3-28 22:200 D7 a, s. i8 }+ F7 a- B/ ~3 B
我的数据没你的那么多,最多的时候生成了200多W缓存,我自己的情况倒是没发现I/O效率低的情况,google爬 ...

/ J% b) J( ]* `0 f; Y6 M像你们这样的大数据盈利靠什么?亚马逊还是gg ads?还是其他?
回复 支持 反对

使用道具 举报

0

主题

3

广告币

7

积分

禁止发言

积分
7
发表于 2017-10-26 10:01:26 | 显示全部楼层
你媽个垃圾
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2025-7-5 16:51 , Processed in 0.060249 second(s), 20 queries , Gzip On, MemCache On.

Copyright © 2001-2023, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表