本帖最后由 朝阳风雨 于 2022-4-13 23:48 编辑 1 o4 p' [$ t9 f8 t $ i1 s: j* a$ L' ?8 O: w 我的一个网站,从3月21号开始,大量的网页的索引被移除。我一开始还以为是谷歌算法的影响,一开始也没有理它。但是最近发现越来越不对了。即使受到更新的影响,也不可能一下子来源谷歌的完全被拔毛,又不是采集站。非常诡异的曲线。点击快掉光了。而且我没有收到任何谷歌人工操作的提醒。 ) g! }5 ~9 O9 @- V9 R # L, U$ Y, S( ^1 e, l* R" N 8 d3 B2 p7 L3 x V: o B, O 7 Q/ g x& a# } @2 k* ?: J9 f0 m+ `5 l9 i* k, h0 L# ^( F
今天有空瞄了一眼网站工具,发现这索引不对啊,已经开始掉了一半了。然后我仔细一查,基本上所有的文章的索引都被移除了。 1 U& u0 @: ~. b0 i) Y1 t* P9 X+ d0 M A4 l
; b [+ K7 C) F& R3 L7 c1 ?
然后看看哪些被移除的,发现网页可以正常访问,但是谷歌抓取就是抓取不了。真是奇怪。抓取的时候,会提示Page fetch错误:Failed: Blocked due to access forbidden (403)。这个太不可思议了。网站已经运行了几年了,怎么现在出现这个问题?# @/ m* J, e% A
3 o, U4 j( @/ X, M( C2 E4 @ h5 Z* t0 K$ o( M. ^- V
我把所有的插件都禁止后,发现问题依然存在。然后联系了bluehost客服。他们说我的网站的robots.txt是没有的。那就真的诡异了。没有我之前的网站怎么能抓取到呢?robots.txt是这样的现在。$ D$ C n: d/ O. d# r. v& W& H