本帖最后由 朝阳风雨 于 2022-4-13 23:48 编辑
; O) k; j% s% }: f% j% h 8 V3 Y; s1 n/ b) @4 S7 M& r2 l) Z
我的一个网站,从3月21号开始,大量的网页的索引被移除。我一开始还以为是谷歌算法的影响,一开始也没有理它。但是最近发现越来越不对了。即使受到更新的影响,也不可能一下子来源谷歌的完全被拔毛,又不是采集站。非常诡异的曲线。点击快掉光了。而且我没有收到任何谷歌人工操作的提醒。
3 e+ i% K4 `8 n! r: T! c2 U9 A3 E
: h7 W6 r1 R' q! _9 u. f
+ o; b8 m; H! y5 Z! j; @ ( ]& J$ r2 T0 C6 I* [' _' ^
: m, e2 |' `: l$ W3 n8 [ 今天有空瞄了一眼网站工具,发现这索引不对啊,已经开始掉了一半了。然后我仔细一查,基本上所有的文章的索引都被移除了。- s0 \1 C' c5 ]* b
4 V. Y+ x0 f3 z; ^+ ]: T
1 p3 z |- n3 C$ r y 然后看看哪些被移除的,发现网页可以正常访问,但是谷歌抓取就是抓取不了。真是奇怪。抓取的时候,会提示Page fetch错误:Failed: Blocked due to access forbidden (403)。这个太不可思议了。网站已经运行了几年了,怎么现在出现这个问题?
0 u% N% u Y+ D K
/ _" a! P& J u- \5 H8 T2 r
8 J' n, t! ?1 M3 o# T, M& i! M 我把所有的插件都禁止后,发现问题依然存在。然后联系了bluehost客服。他们说我的网站的robots.txt是没有的。那就真的诡异了。没有我之前的网站怎么能抓取到呢?robots.txt是这样的现在。# H: z2 F* z7 ?* m( a6 q
User-agent: *- c. J) z4 w2 J ^3 l' M6 X1 z
Disallow: /wp-admin/
( ~$ d+ a* E0 F( x Allow: /wp-admin/admin-ajax.php6 a2 d& J( `1 ^! e: A* n( X3 \
' b5 A) h! A- A- P8 c
Sitemap: https://xxxxx.com/wp-sitemap.xml 复制代码 然后他们改了之后,我发现用了谷歌的url测试工具还是抓取不到,太坑了。
9 m' o+ Q' ~' m+ l
& |' J+ G9 g. ` 我发现论坛这2天已经有几个人碰到被黑的情况,大家有空多检查下。我这个网站这次也是被黑的话,已经第二次了。。。5 z5 M+ |5 F% X9 f6 {( t0 l
; ^4 ]3 l7 B) o v, y
已找到原因,CDN引起的,但是具体问题还在排查。。。2 u4 O8 s C6 d, [1 a
* F4 w# m6 s6 Z+ L' k; b( R! \, N
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
x
相关帖子