求助，国际化站后台日志显示很多404

xu6882611

  c! z9 L3 d3 F7 o2 k
网站链接都是完整URL，没有相对路径的URL，为什么爬虫会这样组装URL?
* Z6 c4 z& m& T3 O包括分页页码链接也是完整URL。

% `3 o/ M1 q: }: k) W: W之前的链接是这样
+ l. s7 K+ W3 W9 }首页https://example.com  
! v  Y4 H* H5 N% X国际化 https://example.com/zh-cn  
栏目https://example.com/food  
# D; `% {- _" M+ Z0 V文章https://example.com/food/abc.html

所有的a标签herf都是完整URL不存在相对URL，默认情况下国际化为zh-cn也就是url默认情况下不带zh-cn，用户选择语言下拉框后页面定向到带国际化的url.

1 n- L& o6 ]  L/ B# X发现日志记录了非常多的404  https://example.com/zh-cn/zh-mo/food/abc.html，问题是中间多了个国际化目录。
后改成
! H  G# u% y8 V: r& s. U首页https://example.com/
# }" {3 U3 e$ A7 _- k国际化https://example.com/zh-cn/
栏目改成https://example.com/food/    https://example.com/zh-cn/food/
( Q) K* ~/ t4 v文章https://example.com/food/abc.html    https://example.com/zh-cn/food/abc.html
2 u  d( o* ^) W* I" `1 n7 @* @- v
问题依旧,大量404是否影响SEO?
$ V, T: [0 N7 a9 f1 {) L

xu6882611

没有人回答一下嘛

chenkui

看源码，原始代码，不是浏览器上的

xu6882611

chenkui 发表于 2022-11-29 16:16
  b4 H) P; I8 [: y看源码，原始代码，不是浏览器上的

程序是我自己开发的，所有a链接都是完整的URL,不存在相对路径。
7 [0 i. c+ i( a' Q7 D6 R( n
! o. ^5 A( T3 n# M( @2 i审视过好几遍了！
6 j2 K" J5 ]9 q* ^" b3 H0 H+ q
$ e# Z) n3 ?& [2 G比较奇怪谷歌爬虫以及必应爬虫都会出现这种现象。
9 ?9 F5 A9 [5 e
8 W) e1 T6 ?% y/ B/ \( f/zh-cn/zh-tw/food/abc.html  404
/zh-tw/food/abc.html  200
/zh-cn/food/abc.html  200