本帖最后由 朝阳风雨 于 2022-4-13 23:48 编辑 & z/ f, a7 K8 y; T ( x5 v |# _$ R p0 E7 ?% l% n 我的一个网站，从3月21号开始，大量的网页的索引被移除。我一开始还以为是谷歌算法的影响，一开始也没有理它。但是最近发现越来越不对了。即使受到更新的影响，也不可能一下子来源谷歌的完全被拔毛，又不是采集站。非常诡异的曲线。点击快掉光了。而且我没有收到任何谷歌人工操作的提醒。3 k1 [4 `3 c4 ?% |
( [5 S- S% @# h; W, D& n% ~, l5 E- u- G- s; u
3 z1 m8 A. I* h ?9 z+ Y# [. B7 y: d, p4 Q6 y* u
今天有空瞄了一眼网站工具，发现这索引不对啊，已经开始掉了一半了。然后我仔细一查，基本上所有的文章的索引都被移除了。5 s5 a, d2 a* K0 {3 n
1 }0 p, k. Y' e. Z* D4 g7 i/ f
9 z/ N5 R# M! j
然后看看哪些被移除的，发现网页可以正常访问，但是谷歌抓取就是抓取不了。真是奇怪。抓取的时候，会提示Page fetch错误：Failed: Blocked due to access forbidden (403)。这个太不可思议了。网站已经运行了几年了，怎么现在出现这个问题？ 0 r1 V9 o0 d0 Y6 x5 Z. h8 ?% p ( e! _, C' m4 D8 D S, ~6 u( ]8 A
我把所有的插件都禁止后，发现问题依然存在。然后联系了bluehost客服。他们说我的网站的robots.txt是没有的。那就真的诡异了。没有我之前的网站怎么能抓取到呢？robots.txt是这样的现在。 3 g5 ~) K' W" h0 e2 r- K8 w
User-agent: *% l; L* \* l. T' o5 g" k# s$ E( C3 [
Disallow: /wp-admin/9 E; [" ]% [ k
Allow: /wp-admin/admin-ajax.php* f) s* W) B4 E5 y+ G4 W
! c; V# G% b' D
Sitemap: https://xxxxx.com/wp-sitemap.xml
复制代码
然后他们改了之后，我发现用了谷歌的url测试工具还是抓取不到，太坑了。. Q% r5 g& d/ h" P
发表于 2022-4-13 22:05:35
发表于 2022-4-13 22:14:38
楼主
发表于 2022-4-14 07:01:24
发表于 2022-4-14 07:41:56
