本帖最后由 朝阳风雨 于 2022-4-13 23:48 编辑 : a7 p D! |4 _0 T; n
2 Q6 P6 l! T4 f3 b- L. N! A5 h
我的一个网站，从3月21号开始，大量的网页的索引被移除。我一开始还以为是谷歌算法的影响，一开始也没有理它。但是最近发现越来越不对了。即使受到更新的影响，也不可能一下子来源谷歌的完全被拔毛，又不是采集站。非常诡异的曲线。点击快掉光了。而且我没有收到任何谷歌人工操作的提醒。 # U1 |% c" Z; ^* d( J; c. O7 d- Z# P/ ^: ^3 v8 J$ k
1 w( C" l- U$ [" v v; [% S 0 m" \ {" g! h# s- a+ {4 T3 ~1 @: g" e. D5 Y
今天有空瞄了一眼网站工具，发现这索引不对啊，已经开始掉了一半了。然后我仔细一查，基本上所有的文章的索引都被移除了。$ H4 u2 p7 G4 m' f
, k! O4 a8 h& X4 i
# q) Y- w$ ^5 l- Y. y5 c+ R. t然后看看哪些被移除的，发现网页可以正常访问，但是谷歌抓取就是抓取不了。真是奇怪。抓取的时候，会提示Page fetch错误：Failed: Blocked due to access forbidden (403)。这个太不可思议了。网站已经运行了几年了，怎么现在出现这个问题？ " L* N7 s' ^. k6 U" i& I" r! m - [0 H0 L) }% b3 Z- h9 d3 O 0 X G) f# P" w) D8 t2 P3 |我把所有的插件都禁止后，发现问题依然存在。然后联系了bluehost客服。他们说我的网站的robots.txt是没有的。那就真的诡异了。没有我之前的网站怎么能抓取到呢？robots.txt是这样的现在。 $ r3 v" d1 N! g* J$ Q
发表于 2022-4-13 22:05:35
发表于 2022-4-13 22:14:38
楼主
发表于 2022-4-14 07:01:24
发表于 2022-4-14 07:41:56
