求助，国际化站后台日志显示很多404

xu6882611

网站链接都是完整URL，没有相对路径的URL，为什么爬虫会这样组装URL?
包括分页页码链接也是完整URL。

) A% t$ x- B2 {& D, W之前的链接是这样
首页https://example.com  
  }4 }! p6 ~/ N' J# N' p9 {国际化 https://example.com/zh-cn  
& S. H+ y# v0 `" M3 C8 q: J- k# O栏目https://example.com/food  
4 R: O2 ^4 G* G4 V, `% [  K文章https://example.com/food/abc.html
* L2 f2 ?! t; x. Z
所有的a标签herf都是完整URL不存在相对URL，默认情况下国际化为zh-cn也就是url默认情况下不带zh-cn，用户选择语言下拉框后页面定向到带国际化的url.

发现日志记录了非常多的404  https://example.com/zh-cn/zh-mo/food/abc.html，问题是中间多了个国际化目录。
后改成
( }; G7 L2 y8 z2 u* ^3 q首页https://example.com/
国际化https://example.com/zh-cn/
栏目改成https://example.com/food/    https://example.com/zh-cn/food/
文章https://example.com/food/abc.html    https://example.com/zh-cn/food/abc.html

$ ]3 h3 I) c3 E) y8 R1 h/ \问题依旧,大量404是否影响SEO?
0 j! I: e/ C) x3 [9 G! b) I

xu6882611

没有人回答一下嘛

chenkui

看源码，原始代码，不是浏览器上的

xu6882611

chenkui 发表于 2022-11-29 16:16
6 o( h0 ^# M+ v. U3 j: [. n: M看源码，原始代码，不是浏览器上的

, v, ]' s1 P/ A2 I+ x程序是我自己开发的，所有a链接都是完整的URL,不存在相对路径。

: ?; Z) V0 k9 V' w" N审视过好几遍了！

( _9 m2 ?3 I3 ^" Q比较奇怪谷歌爬虫以及必应爬虫都会出现这种现象。

/zh-cn/zh-tw/food/abc.html  404
/zh-tw/food/abc.html  200
" g! B0 H7 n' e" k* j% E  \/zh-cn/food/abc.html  200