采集成果展示

xu6882611

  `* @8 E1 c* Q! |' U) Y
4 a( K! {$ F+ r* h目前采集约5000篇文章，innodb存储引擎差不多占用100M。
; q2 d1 G$ L: }: D$ G1 h, v页面级缓存基于数据库cache，O(1)复杂度性能尚可，主要矛盾1G内存redis玩儿不起！
litespeed页面级缓存在多语言情况下.htaccess配置及其复杂，在套用CF后即便走缓存也看不出响应时间有多少提升。
CF缓存免费版不支持自定义缓存KEY，功能有限只能放弃。
% k7 n6 I8 T! \$ z  j- @3 ^6 j1 }
4 N$ l/ }7 X9 n' T+ |0 M7 q+ X/ v" [! e那些采集动不动上百万篇的都是狠人啊。

河小马

1G内存？你的这台VM太拼命了
+ R6 x# {% E* h# ^& X( u
$ S1 y$ C  B# G2 G+ w

xu6882611

河小马 发表于 2022-12-19 18:54
1G内存？你的这台VM太拼命了

" U$ I" X  ?6 z' W  H1 A! d# h4 Y明年3月份看成果吧，势头好就迁移到vps上。

asj

我有个站5KW数据量了 死于上一次Google算法调整

xu6882611

asj 发表于 2022-12-19 20:38
% g6 P3 o9 t8 b2 j1 i" j( W我有个站5KW数据量了 死于上一次Google算法调整

MyISAM引擎占用不了多少存储，但是不支持事务处理。你这几千万数据量图片是咋处理的？日UV/PV多少？

1 r8 I* M7 N% _1 c$ |. S/ i8 Z个人网站几千万数据量我要是是google官方也给你毙了。