|
|
本帖最后由 朝阳风雨 于 2022-4-13 23:48 编辑
4 S p4 k' E' } t$ M# x+ `8 t
/ r5 s6 _# d, V! j 我的一个网站,从3月21号开始,大量的网页的索引被移除。我一开始还以为是谷歌算法的影响,一开始也没有理它。但是最近发现越来越不对了。即使受到更新的影响,也不可能一下子来源谷歌的完全被拔毛,又不是采集站。非常诡异的曲线。点击快掉光了。而且我没有收到任何谷歌人工操作的提醒。/ E* E4 i9 U0 T0 v
* o) E7 G: R: a' P2 N, i$ B7 H2 c1 a8 k4 {$ B
8 b: O/ i) e5 y
) q2 B" ^3 d: x 今天有空瞄了一眼网站工具,发现这索引不对啊,已经开始掉了一半了。然后我仔细一查,基本上所有的文章的索引都被移除了。
. \7 Z* L- X5 z( H3 F- Z/ D" E- O' M: |6 B9 P1 r F
( R- ?& d# s0 v2 P6 Z
然后看看哪些被移除的,发现网页可以正常访问,但是谷歌抓取就是抓取不了。真是奇怪。抓取的时候,会提示Page fetch错误:Failed: Blocked due to access forbidden (403)。这个太不可思议了。网站已经运行了几年了,怎么现在出现这个问题?. F- X9 ]) \7 W$ z6 N
5 `' C5 o. r+ g5 f9 J9 v& y
9 U. c+ K! c4 s9 O" t我把所有的插件都禁止后,发现问题依然存在。然后联系了bluehost客服。他们说我的网站的robots.txt是没有的。那就真的诡异了。没有我之前的网站怎么能抓取到呢?robots.txt是这样的现在。
* x" n) e, ~ F8 M9 l; j% D- User-agent: *0 q* i7 b P( ]3 t$ o
- Disallow: /wp-admin/% c; d0 G( ~+ Z
- Allow: /wp-admin/admin-ajax.php* e3 ]! R$ l: N8 s: [/ \- w
- # ~5 V6 ^ B: X7 A/ H
- Sitemap: https://xxxxx.com/wp-sitemap.xml
复制代码 然后他们改了之后,我发现用了谷歌的url测试工具还是抓取不到,太坑了。
4 l# ^: X+ \1 t+ B( `
, q+ |: e7 V6 U6 j: S5 A$ s我发现论坛这2天已经有几个人碰到被黑的情况,大家有空多检查下。我这个网站这次也是被黑的话,已经第二次了。。。
& l2 O' s& [: o- a+ R0 _: Y0 J: F' y& j, `" V1 ` W/ R1 n
已找到原因,CDN引起的,但是具体问题还在排查。。。
s8 D, [, C8 K0 Y$ `
) ^1 R- H' Z1 _: E4 X5 K |
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
×
|