|
|
本帖最后由 朝阳风雨 于 2022-4-13 23:48 编辑
( u$ m+ x, U& e+ B; a% h. {
, k6 r2 h0 G* |) {6 [1 u, u 我的一个网站,从3月21号开始,大量的网页的索引被移除。我一开始还以为是谷歌算法的影响,一开始也没有理它。但是最近发现越来越不对了。即使受到更新的影响,也不可能一下子来源谷歌的完全被拔毛,又不是采集站。非常诡异的曲线。点击快掉光了。而且我没有收到任何谷歌人工操作的提醒。1 P* n# X1 b p( O, F, H, F3 w5 `
* c0 @$ J! Q: s! ^3 J& d5 L( U
# \7 Y" z- A, h$ Q+ P
( G4 A& u, z5 p, @' k
- l" O& q( u' v6 b6 z5 B) d 今天有空瞄了一眼网站工具,发现这索引不对啊,已经开始掉了一半了。然后我仔细一查,基本上所有的文章的索引都被移除了。. _' v, _9 Q8 A" `) \! n0 ^: }! ]
& |( _$ f& k9 g6 R0 q
$ y7 b0 d' D$ j6 ?% ^然后看看哪些被移除的,发现网页可以正常访问,但是谷歌抓取就是抓取不了。真是奇怪。抓取的时候,会提示Page fetch错误:Failed: Blocked due to access forbidden (403)。这个太不可思议了。网站已经运行了几年了,怎么现在出现这个问题?
' D5 E# I: S# k
2 Q: u. L& q" P" E+ o
& d( w& F4 T9 O我把所有的插件都禁止后,发现问题依然存在。然后联系了bluehost客服。他们说我的网站的robots.txt是没有的。那就真的诡异了。没有我之前的网站怎么能抓取到呢?robots.txt是这样的现在。
/ m6 {0 V+ @; N- User-agent: *3 \/ w$ y- ]( l; v# m( p5 P
- Disallow: /wp-admin/
( x1 L5 P1 o/ Z- C& H5 x: J5 e - Allow: /wp-admin/admin-ajax.php
* ]; Y5 ~* A& Y9 c: D - ( W, T5 x" p+ W% }6 ?
- Sitemap: https://xxxxx.com/wp-sitemap.xml
复制代码 然后他们改了之后,我发现用了谷歌的url测试工具还是抓取不到,太坑了。
, g) o+ t+ `3 q% |" _; l3 T. { H) M- z* m& a6 k, n
我发现论坛这2天已经有几个人碰到被黑的情况,大家有空多检查下。我这个网站这次也是被黑的话,已经第二次了。。。9 t8 G% n3 p+ v- m7 \2 Q
* a' U! G* M. P) d
已找到原因,CDN引起的,但是具体问题还在排查。。。+ Y1 \% X5 ?5 j
! J! B1 T* o U. Q# M6 D7 ]4 R) | |
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
×
|