|
|
本帖最后由 朝阳风雨 于 2022-4-13 23:48 编辑
' P6 p# y3 B: r: [9 M2 I
1 x7 f& g- c$ O. p4 o$ n. n 我的一个网站,从3月21号开始,大量的网页的索引被移除。我一开始还以为是谷歌算法的影响,一开始也没有理它。但是最近发现越来越不对了。即使受到更新的影响,也不可能一下子来源谷歌的完全被拔毛,又不是采集站。非常诡异的曲线。点击快掉光了。而且我没有收到任何谷歌人工操作的提醒。
1 l! g5 t8 C& Z( Z7 M3 P/ [" g# \1 I/ ^( \; \2 i, g, i
0 i: c: {2 y3 y4 J
0 I1 A6 A0 Y. Y
9 e9 |4 o1 P6 z" D; ~
今天有空瞄了一眼网站工具,发现这索引不对啊,已经开始掉了一半了。然后我仔细一查,基本上所有的文章的索引都被移除了。
, p1 j% V- x9 i$ u0 U M* S) i
, w G5 w) H4 b) I( X$ P6 p3 h
9 e D+ G9 K. }0 a然后看看哪些被移除的,发现网页可以正常访问,但是谷歌抓取就是抓取不了。真是奇怪。抓取的时候,会提示Page fetch错误:Failed: Blocked due to access forbidden (403)。这个太不可思议了。网站已经运行了几年了,怎么现在出现这个问题?
3 H' U2 {6 u- _" ^$ i, X) O! M1 [/ Q
5 F. e7 [* ]" p, l5 w
3 @* r& h: s8 K1 p我把所有的插件都禁止后,发现问题依然存在。然后联系了bluehost客服。他们说我的网站的robots.txt是没有的。那就真的诡异了。没有我之前的网站怎么能抓取到呢?robots.txt是这样的现在。: B9 h. [7 G0 [) D0 \6 M4 ^* F+ [6 M( J
- User-agent: * P8 y+ k5 F8 G2 ?+ T* N) p
- Disallow: /wp-admin/% p: G) ]# ~; T, ]" Z4 N4 D
- Allow: /wp-admin/admin-ajax.php8 G: ^% E+ {7 z& U( v
- L9 t, c3 M% K6 F
- Sitemap: https://xxxxx.com/wp-sitemap.xml
复制代码 然后他们改了之后,我发现用了谷歌的url测试工具还是抓取不到,太坑了。
& M8 v8 [6 Q7 d! R
; `: X1 _: `% N5 Y我发现论坛这2天已经有几个人碰到被黑的情况,大家有空多检查下。我这个网站这次也是被黑的话,已经第二次了。。。
9 y# N+ u3 @, s9 _& e6 y3 P5 l( d2 Y9 R3 X* e3 h' v. F2 Q
已找到原因,CDN引起的,但是具体问题还在排查。。。5 U( g6 B8 n8 N% u7 P6 {( M
( w5 V5 a* Z$ Q1 g, ^% {; \ s |
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
×
|