求助，国际化站后台日志显示很多404

xu6882611

网站链接都是完整URL，没有相对路径的URL，为什么爬虫会这样组装URL?
4 R$ \7 Z5 G( B' j$ f/ e/ P3 ^包括分页页码链接也是完整URL。

! \$ O7 E4 S* k2 `之前的链接是这样
首页https://example.com  
& y: x4 r9 U+ d/ U国际化 https://example.com/zh-cn  
栏目https://example.com/food  
文章https://example.com/food/abc.html
" G5 F" X+ n' g: b* K
所有的a标签herf都是完整URL不存在相对URL，默认情况下国际化为zh-cn也就是url默认情况下不带zh-cn，用户选择语言下拉框后页面定向到带国际化的url.

发现日志记录了非常多的404  https://example.com/zh-cn/zh-mo/food/abc.html，问题是中间多了个国际化目录。
后改成
7 b6 x, R8 P7 w7 {2 _+ X* _首页https://example.com/
, i0 A) `5 k. o国际化https://example.com/zh-cn/
7 q% Y- e2 ~3 e9 W: w2 h" S0 A栏目改成https://example.com/food/    https://example.com/zh-cn/food/
文章https://example.com/food/abc.html    https://example.com/zh-cn/food/abc.html
% _5 [, J* G$ z# H
6 a: D% c  U5 E8 W问题依旧,大量404是否影响SEO?
1 A7 D" P* P2 }0 a' |- J

xu6882611

没有人回答一下嘛

chenkui

看源码，原始代码，不是浏览器上的

xu6882611

chenkui 发表于 2022-11-29 16:16
( ~$ G: O4 U3 t6 r* d9 Q2 i$ |看源码，原始代码，不是浏览器上的

程序是我自己开发的，所有a链接都是完整的URL,不存在相对路径。

审视过好几遍了！

) p7 n' e% Y% |5 }7 N4 r比较奇怪谷歌爬虫以及必应爬虫都会出现这种现象。
$ v+ h3 Z- d8 M' c4 ?7 L
/zh-cn/zh-tw/food/abc.html  404
/zh-tw/food/abc.html  200
/zh-cn/food/abc.html  200