求个大文本乱序的工具

kl116201547 · 发表于 2016-2-26 15:36:20

完全听不懂你们在说什么呢，呵呵

bluescharp · 发表于 2016-2-26 16:42:42

fei 发表于 2016-2-26 12:09
& s" A7 Y. M5 Q9 d1 `shuf test.txt > output.txt

这个屌爆了。我刚还准备用C#自己弄一个...

quanchengxue · 发表于 2016-3-28 09:11:20

你一篇文章需要多少行数据？我的情况是每篇100行，一共200M的txt，分割成了200个txt文件，文件名1.txt到200.txt，php随机读取10个txt，每个txt随机取20行。1G的VPS上跑4个站完全没压力。

bluescharp · 发表于 2016-3-28 15:29:44

quanchengxue 发表于 2016-3-28 09:11. C6 v* i2 Y; T$ J) [
你一篇文章需要多少行数据？我的情况是每篇100行，一共200M的txt，分割成了200个txt文件，文件名1.txt到200 ...

随机文章写入数据库吗？不然每次访问结果都不一样？
一共生产多少文章？我之前试过，不过不是直接句子的方式，也大概200M左右的语料库，效果不太好，没什么IP。

quanchengxue · 发表于 2016-3-28 15:54:36

bluescharp 发表于 2016-3-28 15:29
w( V3 b% ]4 e( V. A( y随机文章写入数据库吗？不然每次访问结果都不一样？
6 e' n9 |6 C9 Z+ u2 {5 w一共生产多少文章？我之前试过，不过不是直接句子的 ...

不写数据库，直接生成缓存，或者直接生成HTML文件，缓存目录用两层，第一层用MD5的12位，第二层用34位，缓存文件名用md5命名。你用1层目录的话大概能放25W个页面，两层的话大概是6500W。而且看你站的生存周期，估计从收录到被K，两层目录应该绝对够用了。

bluescharp · 发表于 2016-3-28 19:43:17

quanchengxue 发表于 2016-3-28 15:54
2 T3 S/ j' D( i+ e不写数据库，直接生成缓存，或者直接生成HTML文件，缓存目录用两层，第一层用MD5的12位，第二层用34位， ...

我之前也是用文件缓存。一方面是小文件太多，I/O效率低。另外一方面，删除起来不是一般的麻烦。
而且文件缓存占用空间比数据库要大。曾经尝试用redis，效果不好。
你一般生产多少页面？

quanchengxue · 发表于 2016-3-28 22:20:25

bluescharp 发表于 2016-3-28 19:43/ h; b( Z; v# j5 t* i' ^
我之前也是用文件缓存。一方面是小文件太多，I/O效率低。另外一方面，删除起来不是一般的麻烦。6 o5 ?/ M" A( ]9 }! e+ K
而且文件 ...

我的数据没你的那么多，最多的时候生成了200多W缓存，我自己的情况倒是没发现I/O效率低的情况，google爬最快的时候也就3秒1个页面，一个VPS上就放4个站，硬盘30G的也足够用了，毕竟数据量不算大。
你那个数据量大了不少，但是看你说服务器内存16G，其他配置应该也不会差，你可以试试这种方法。

gaozi · 发表于 2016-4-5 15:40:35

quanchengxue 发表于 2016-3-28 22:202 H* G) L# R9 e& Z. ^! a; n
我的数据没你的那么多，最多的时候生成了200多W缓存，我自己的情况倒是没发现I/O效率低的情况，google爬 ...

像你们这样的大数据盈利靠什么？亚马逊还是gg ads？还是其他？

Rekkles · 发表于 2017-10-26 10:01:26

你媽个垃圾

		自动登录	找回密码
密码			立即注册

谷歌+Bing+TT+MSN官方代理	⚡️按条S5代理⚡️静态⚡️独享⚡️5G	⚡️最干净<Wifi住宅+5G移动>IP代理	泰国仓储，本土仓发货2-3元/单
指纹浏览器，就用AdsPower	谷歌/FB/Bing/Yahoo代理商开户	7200W全球动态不重复住宅IP代理	全球优质流量，选TrafficStars
出售Facebook,友缘号,FB广告号,ins	FB/TT/KW 加白开户	ADPLEXITY + ADVERTCN	比Adplexity还好用的Spy工具
广	告	开	户
FB/Google/TK	海外多媒体	极速	下户
BINOM TRACKER 60% OFF!	MediaGo+Taboola+Ob开户	百度国际MediaGo⚡️让产品狂奔全球	百度国际，高点击转化，快速放量
百度国际MediaGo，独家原生流量	虚拟信用卡+独立站收款	行业首创新型指纹Cloak, 谷歌奇效!	Kookeey⚡️100%独享⚡️原生住宅IP
⚡IPFoxy住宅代理全场88折⚡	免账户投放 FB 广告（送项目）	2024做什么 - Media buy 项目库	免费黑五教程（持续更新、欢迎交流）
Facebook 批量上广告	Bridgeway - 联盟营销网络	IPCola 全新住宅代理 ⚡️ 免费试用	各种主页、账单户、BM户（优势）
⚡️个人户，bm户不限额，账单户	Adsterra 的CPA/CPM/CPC 网站流量	在线注册美国/英国/香港等海外公司	EU KETO/CBD - Jumbleberry
FB二三解1元/个	9Proxy ⚡️ $0.04/IP, 无限带宽	cloak斗篷/ss/nutra/cpa/Dating	E.PN 虚拟卡
Asocks代理服务器$3/GB	高薪诚求实力FB投手（独立站）	《全新虚拟卡+全球收付款》	广告位出租
全球低价纯净住宅/移动IP-免费试用	广告代投, 东南亚物流, 虚拟信用卡	VMLogin指纹浏览器+多账号防关联

求个大文本乱序的工具

点评

点评

点评

点评

点评

社区QQ达人