|
本帖最后由 朝阳风雨 于 2022-4-13 23:48 编辑 4 x) p7 \- E# Q* i3 Z* [* h
' v! l+ W2 G9 R% v4 l( i 我的一个网站,从3月21号开始,大量的网页的索引被移除。我一开始还以为是谷歌算法的影响,一开始也没有理它。但是最近发现越来越不对了。即使受到更新的影响,也不可能一下子来源谷歌的完全被拔毛,又不是采集站。非常诡异的曲线。点击快掉光了。而且我没有收到任何谷歌人工操作的提醒。7 U5 k. x8 w* H) }' s8 Z" k- N
3 o* f: V( G6 C1 z$ m
% L& A1 B0 a5 \+ I* u4 |4 j
* w+ _' ?0 ^* g, v1 M# @
2 u# B- T2 p9 Q8 H 今天有空瞄了一眼网站工具,发现这索引不对啊,已经开始掉了一半了。然后我仔细一查,基本上所有的文章的索引都被移除了。
# D0 T6 v p9 U3 d6 n
$ Q3 O; P. Q. ?. W
, G& }3 E9 R" m然后看看哪些被移除的,发现网页可以正常访问,但是谷歌抓取就是抓取不了。真是奇怪。抓取的时候,会提示Page fetch错误:Failed: Blocked due to access forbidden (403)。这个太不可思议了。网站已经运行了几年了,怎么现在出现这个问题?
7 s6 }2 @2 T" M6 @- Z
$ s# j# P4 ~! c, O5 U( U
# f4 p' {# `5 C$ X我把所有的插件都禁止后,发现问题依然存在。然后联系了bluehost客服。他们说我的网站的robots.txt是没有的。那就真的诡异了。没有我之前的网站怎么能抓取到呢?robots.txt是这样的现在。
- H; W( |5 g2 Y9 E+ ~' S& u* f& x- User-agent: *$ ?0 \& O- {5 K" b
- Disallow: /wp-admin/( g4 _! B' R' p/ V
- Allow: /wp-admin/admin-ajax.php$ \' s) b: Z) U7 M/ |
- 2 N* _! h6 |3 s4 \. {
- Sitemap: https://xxxxx.com/wp-sitemap.xml
复制代码 然后他们改了之后,我发现用了谷歌的url测试工具还是抓取不到,太坑了。0 _' I1 Z" t& v5 Z6 ^; F7 a
# J3 ?" X. M- s5 P' s$ r! ?我发现论坛这2天已经有几个人碰到被黑的情况,大家有空多检查下。我这个网站这次也是被黑的话,已经第二次了。。。: i* ~ d; G; v8 @& K
6 N( W6 U) T. L已找到原因,CDN引起的,但是具体问题还在排查。。。; s8 n* S2 `' ^* U' Z
% l, W9 i( x$ {8 i' k, v! @ |
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
x
|