求助，国际化站后台日志显示很多404

xu6882611

: u1 \5 J! K3 `9 K
* y/ B: \% t+ n- A0 E% `& K网站链接都是完整URL，没有相对路径的URL，为什么爬虫会这样组装URL?
  f% l& ^& W) m+ l$ c) E  k包括分页页码链接也是完整URL。

7 C# ~* r1 x$ y之前的链接是这样
首页https://example.com  
国际化 https://example.com/zh-cn  
栏目https://example.com/food  
1 Z/ ~% N* `9 |5 i0 p文章https://example.com/food/abc.html

所有的a标签herf都是完整URL不存在相对URL，默认情况下国际化为zh-cn也就是url默认情况下不带zh-cn，用户选择语言下拉框后页面定向到带国际化的url.
- f1 F4 J& i( {  |: G, f: r1 l7 o
发现日志记录了非常多的404  https://example.com/zh-cn/zh-mo/food/abc.html，问题是中间多了个国际化目录。
5 ]8 S# h3 |( z; G4 R后改成
. J/ g" F$ t( t8 ?/ q# q首页https://example.com/
5 X1 O1 a7 j, |) ~- G国际化https://example.com/zh-cn/
! O& F$ {, z+ j" B6 W4 Q  _: ?# w栏目改成https://example.com/food/    https://example.com/zh-cn/food/
/ L$ h; M4 Y; V+ e2 l文章https://example.com/food/abc.html    https://example.com/zh-cn/food/abc.html

问题依旧,大量404是否影响SEO?

xu6882611

没有人回答一下嘛

chenkui

看源码，原始代码，不是浏览器上的

xu6882611

chenkui 发表于 2022-11-29 16:16
0 }# F# i: S- K$ I看源码，原始代码，不是浏览器上的

# v3 Q9 h; v; c# ~程序是我自己开发的，所有a链接都是完整的URL,不存在相对路径。

审视过好几遍了！
& b! H5 S. ~! ?$ V* d. C
( f) ]" o7 e$ e比较奇怪谷歌爬虫以及必应爬虫都会出现这种现象。

/zh-cn/zh-tw/food/abc.html  404
& u& @: `, x/ \4 X- Q3 O/zh-tw/food/abc.html  200
/zh-cn/food/abc.html  200