|
|
本帖最后由 朝阳风雨 于 2022-4-13 23:48 编辑 : L& G) c. u5 K# g1 M3 C- v
" J& h( Q6 O* [$ z4 Y" V
我的一个网站,从3月21号开始,大量的网页的索引被移除。我一开始还以为是谷歌算法的影响,一开始也没有理它。但是最近发现越来越不对了。即使受到更新的影响,也不可能一下子来源谷歌的完全被拔毛,又不是采集站。非常诡异的曲线。点击快掉光了。而且我没有收到任何谷歌人工操作的提醒。
+ |3 F$ E" g! Q! g* M9 g, l& F9 w1 m3 K& `
5 j) t, O; E! R" b1 z! N, ?, B
, j1 E# a$ N" i4 {0 R% g/ q# |% {- [* o3 i5 Y9 M2 A
今天有空瞄了一眼网站工具,发现这索引不对啊,已经开始掉了一半了。然后我仔细一查,基本上所有的文章的索引都被移除了。
$ C2 t; N- X0 {* x+ Z! T8 ]" o; u4 _& B0 \' A- E7 g
( v8 _9 }/ D3 x: |' m& d然后看看哪些被移除的,发现网页可以正常访问,但是谷歌抓取就是抓取不了。真是奇怪。抓取的时候,会提示Page fetch错误:Failed: Blocked due to access forbidden (403)。这个太不可思议了。网站已经运行了几年了,怎么现在出现这个问题?4 H( X. @$ u' V% d" U! d
4 `- j( q q2 z0 F# A# M
' D& S5 q" O' h我把所有的插件都禁止后,发现问题依然存在。然后联系了bluehost客服。他们说我的网站的robots.txt是没有的。那就真的诡异了。没有我之前的网站怎么能抓取到呢?robots.txt是这样的现在。
% y+ b7 R+ f6 x! c. t6 i# z- User-agent: *
& g( q9 X% m+ ~- n - Disallow: /wp-admin/
" F6 d0 e3 [- D" V7 m; D9 t, o+ R' { - Allow: /wp-admin/admin-ajax.php, y" `# g. T4 n
- 2 H4 J/ m, Q J) o
- Sitemap: https://xxxxx.com/wp-sitemap.xml
复制代码 然后他们改了之后,我发现用了谷歌的url测试工具还是抓取不到,太坑了。
% a9 r) w/ {9 `" ]# z; s' t
* o, l% u2 W/ m' I; |8 G2 A我发现论坛这2天已经有几个人碰到被黑的情况,大家有空多检查下。我这个网站这次也是被黑的话,已经第二次了。。。+ D; }& x5 q: b5 j6 s4 _/ U; _- E
: V7 \- g& ?( e1 _1 M% i' a" T
已找到原因,CDN引起的,但是具体问题还在排查。。。2 p9 E% B+ u$ P w5 }4 H3 r
: l& `: D4 t3 Z4 e) }- Z+ W- H |
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
×
|