求助，国际化站后台日志显示很多404

xu6882611

网站链接都是完整URL，没有相对路径的URL，为什么爬虫会这样组装URL?
包括分页页码链接也是完整URL。

* z: L; N+ Q6 U6 n2 l之前的链接是这样
5 }( S, R( y8 q5 c首页https://example.com  
* s& Z' F4 c& I8 R国际化 https://example.com/zh-cn  
栏目https://example.com/food  
文章https://example.com/food/abc.html
& z; u) b0 \6 \
所有的a标签herf都是完整URL不存在相对URL，默认情况下国际化为zh-cn也就是url默认情况下不带zh-cn，用户选择语言下拉框后页面定向到带国际化的url.

发现日志记录了非常多的404  https://example.com/zh-cn/zh-mo/food/abc.html，问题是中间多了个国际化目录。
* w( a6 Y5 Q8 X" Y0 N后改成
' g8 c  k% ~4 n! a% f! u2 b) l首页https://example.com/
国际化https://example.com/zh-cn/
  j2 {/ z: @5 l栏目改成https://example.com/food/    https://example.com/zh-cn/food/
5 [/ |* v  T' s; }1 p文章https://example.com/food/abc.html    https://example.com/zh-cn/food/abc.html
/ o7 D9 i# I  O" {
0 ?. r/ y/ x$ q( h/ q问题依旧,大量404是否影响SEO?

xu6882611

没有人回答一下嘛

chenkui

看源码，原始代码，不是浏览器上的

xu6882611

chenkui 发表于 2022-11-29 16:16
; c6 z- i$ T, N: D0 T看源码，原始代码，不是浏览器上的

$ k# q- L* W9 X4 X程序是我自己开发的，所有a链接都是完整的URL,不存在相对路径。

审视过好几遍了！

0 X8 i( s: ?* C9 _$ K比较奇怪谷歌爬虫以及必应爬虫都会出现这种现象。

/zh-cn/zh-tw/food/abc.html  404
* s" o+ X  x9 `7 x& A0 Z/zh-tw/food/abc.html  200
/zh-cn/food/abc.html  200