采集成果展示

xu6882611

% G5 ~2 m! f2 A: n# w3 V
; W0 b& B: K  |目前采集约5000篇文章，innodb存储引擎差不多占用100M。
# P( i. a; @1 ]0 i  H$ R页面级缓存基于数据库cache，O(1)复杂度性能尚可，主要矛盾1G内存redis玩儿不起！
( u1 h5 }' A& h7 W0 t- glitespeed页面级缓存在多语言情况下.htaccess配置及其复杂，在套用CF后即便走缓存也看不出响应时间有多少提升。
1 l3 f- _* ?+ A: A  F" g; ^CF缓存免费版不支持自定义缓存KEY，功能有限只能放弃。
/ w% H8 h8 c5 Z3 @3 ~0 J
! F3 B4 ]5 l& I- J) G9 E0 s那些采集动不动上百万篇的都是狠人啊。

河小马

1G内存？你的这台VM太拼命了
' J) J4 M. A% F9 g. {
2 C2 I4 t/ u' g/ ?( O9 K; Z

xu6882611

河小马 发表于 2022-12-19 18:54
  F; [6 Q* n/ ~- S8 [1G内存？你的这台VM太拼命了

  X, {# h" G# Y# q$ x. [明年3月份看成果吧，势头好就迁移到vps上。

asj

我有个站5KW数据量了 死于上一次Google算法调整

xu6882611

asj 发表于 2022-12-19 20:38
我有个站5KW数据量了 死于上一次Google算法调整

0 N  h) o5 V3 _( \, hMyISAM引擎占用不了多少存储，但是不支持事务处理。你这几千万数据量图片是咋处理的？日UV/PV多少？

个人网站几千万数据量我要是是google官方也给你毙了。