求助，国际化站后台日志显示很多404

xu6882611

  P0 R) Z% a, t3 a# c
网站链接都是完整URL，没有相对路径的URL，为什么爬虫会这样组装URL?
包括分页页码链接也是完整URL。
3 Y$ Z8 e" Q. e* S
之前的链接是这样
首页https://example.com  
国际化 https://example.com/zh-cn  
* P1 [- A9 X# K7 a9 ]+ P栏目https://example.com/food  
! |: W9 z. S2 ~) `& M. y文章https://example.com/food/abc.html
# K8 e$ O# d$ U$ |/ ^; d( s; c
所有的a标签herf都是完整URL不存在相对URL，默认情况下国际化为zh-cn也就是url默认情况下不带zh-cn，用户选择语言下拉框后页面定向到带国际化的url.
0 q/ x+ w1 f/ \/ X
发现日志记录了非常多的404  https://example.com/zh-cn/zh-mo/food/abc.html，问题是中间多了个国际化目录。
后改成
. W) |$ B; g' y/ m( i- X  o首页https://example.com/
国际化https://example.com/zh-cn/
/ ]' }3 R. M9 F栏目改成https://example.com/food/    https://example.com/zh-cn/food/
文章https://example.com/food/abc.html    https://example.com/zh-cn/food/abc.html
- |  Q: Y8 W: t7 n
; a* s( p2 r. ^4 q2 O  A7 X问题依旧,大量404是否影响SEO?
& T9 t# E+ O9 j  b  E5 [& J+ P- U

xu6882611

没有人回答一下嘛

chenkui

看源码，原始代码，不是浏览器上的

xu6882611

chenkui 发表于 2022-11-29 16:16
看源码，原始代码，不是浏览器上的

程序是我自己开发的，所有a链接都是完整的URL,不存在相对路径。
( P$ k- j# L& T9 f- X8 j) i5 v) p
审视过好几遍了！
0 ]" F# |% g) G! U
比较奇怪谷歌爬虫以及必应爬虫都会出现这种现象。

/zh-cn/zh-tw/food/abc.html  404
* T9 d1 A( i/ t7 z8 b/zh-tw/food/abc.html  200
/zh-cn/food/abc.html  200