求助，国际化站后台日志显示很多404

xu6882611

网站链接都是完整URL，没有相对路径的URL，为什么爬虫会这样组装URL?
包括分页页码链接也是完整URL。
. T/ x$ B& o0 `  ~: [
之前的链接是这样
首页https://example.com  
国际化 https://example.com/zh-cn  
栏目https://example.com/food  
: \9 h+ ~1 ]0 u$ D5 _# ~8 R- s文章https://example.com/food/abc.html
& s1 n6 G9 S0 f  A' r% n; L3 m
% P6 R# |8 X" z1 M  H3 g所有的a标签herf都是完整URL不存在相对URL，默认情况下国际化为zh-cn也就是url默认情况下不带zh-cn，用户选择语言下拉框后页面定向到带国际化的url.

发现日志记录了非常多的404  https://example.com/zh-cn/zh-mo/food/abc.html，问题是中间多了个国际化目录。
后改成
! `0 n6 U. X; i; h5 B% f9 q首页https://example.com/
8 q9 r% s7 j, e% M* B4 Z# S国际化https://example.com/zh-cn/
栏目改成https://example.com/food/    https://example.com/zh-cn/food/
! v% g$ `# D' g/ ]$ O4 k3 x: {文章https://example.com/food/abc.html    https://example.com/zh-cn/food/abc.html

( E2 a0 \, H9 d- [8 S- {8 f: w问题依旧,大量404是否影响SEO?

xu6882611

没有人回答一下嘛

chenkui

看源码，原始代码，不是浏览器上的

xu6882611

chenkui 发表于 2022-11-29 16:16
3 G& A" c  R3 q! Y, o9 J2 j0 D看源码，原始代码，不是浏览器上的

. B0 M5 v" V# @2 f  Q/ f  ]程序是我自己开发的，所有a链接都是完整的URL,不存在相对路径。
& l' x' E8 q/ O( A7 T
审视过好几遍了！

6 ?# k/ b0 e% [% [9 M) {, G! `比较奇怪谷歌爬虫以及必应爬虫都会出现这种现象。

/zh-cn/zh-tw/food/abc.html  404
/zh-tw/food/abc.html  200
: f  n9 D$ E% b, G' j/zh-cn/food/abc.html  200