bluescharp 发表于 2016-3-28 15:29 3 _, U2 m6 L O, ]; ~随机文章写入数据库吗?不然每次访问结果都不一样? : ~% w' p. _9 E' h/ F. c一共生产多少文章?我之前试过,不过不是直接句子的 ...
! M8 v$ ]6 m+ L1 q, i/ k* A) F; F
不写数据库,直接生成缓存,或者直接生成HTML文件,缓存目录用两层,第一层用MD5的12位,第二层用34位,缓存文件名用md5命名。你用1层目录的话大概能放25W个页面,两层的话大概是6500W。而且看你站的生存周期,估计从收录到被K,两层目录应该绝对够用了。
' Z+ u7 [5 ^7 E. a6 n, K; G: I
我的数据没你的那么多,最多的时候生成了200多W缓存,我自己的情况倒是没发现I/O效率低的情况,google爬最快的时候也就3秒1个页面,一个VPS上就放4个站,硬盘30G的也足够用了,毕竟数据量不算大。0 }& B' J/ W" \
你那个数据量大了不少,但是看你说服务器内存16G,其他配置应该也不会差,你可以试试这种方法。