求助，国际化站后台日志显示很多404

xu6882611

+ M! J  N2 E3 l+ n: k3 h
  Q9 Y- `+ ^4 ]4 W网站链接都是完整URL，没有相对路径的URL，为什么爬虫会这样组装URL?
; K1 y! ?$ X. G, B: v; e包括分页页码链接也是完整URL。
$ {% ?: Q; b/ d% X* P
' u$ n; S. Q2 `( ~/ e8 N2 c之前的链接是这样
( ]1 e: Z) w( C首页https://example.com  
国际化 https://example.com/zh-cn  
- M' S# ]5 {/ g+ d6 o栏目https://example.com/food  
文章https://example.com/food/abc.html

所有的a标签herf都是完整URL不存在相对URL，默认情况下国际化为zh-cn也就是url默认情况下不带zh-cn，用户选择语言下拉框后页面定向到带国际化的url.
. q: t' M2 I' B) Z5 R4 O
6 i7 E" z8 _" \8 f9 N* [0 f2 O发现日志记录了非常多的404  https://example.com/zh-cn/zh-mo/food/abc.html，问题是中间多了个国际化目录。
" v. S3 p$ g8 r3 ?$ y后改成
$ k$ O4 `3 F8 B首页https://example.com/
国际化https://example.com/zh-cn/
栏目改成https://example.com/food/    https://example.com/zh-cn/food/
文章https://example.com/food/abc.html    https://example.com/zh-cn/food/abc.html

问题依旧,大量404是否影响SEO?
5 P% d8 v5 S5 ?. R% y- B

xu6882611

没有人回答一下嘛

chenkui

看源码，原始代码，不是浏览器上的

xu6882611

chenkui 发表于 2022-11-29 16:16
* f: O2 V/ O/ {. B& L0 v  ]2 V看源码，原始代码，不是浏览器上的

$ y" y* C  N' q+ J1 G程序是我自己开发的，所有a链接都是完整的URL,不存在相对路径。

审视过好几遍了！

比较奇怪谷歌爬虫以及必应爬虫都会出现这种现象。

/zh-cn/zh-tw/food/abc.html  404
9 s+ C+ U" e+ H: k& @# {/zh-tw/food/abc.html  200
* C1 F- ~3 F- t7 F8 k/zh-cn/food/abc.html  200