求助，国际化站后台日志显示很多404

xu6882611

' v2 y5 D* g8 m* f' v9 ]0 e% o8 }+ f# _5 ^
, o; v, I6 d- ^# V3 ^/ H5 V网站链接都是完整URL，没有相对路径的URL，为什么爬虫会这样组装URL?
3 F" ~! ?7 o( L  ]9 n% p包括分页页码链接也是完整URL。
* V) }5 g1 N$ v9 M8 o! B( Y1 ^
之前的链接是这样
首页https://example.com  
3 B, G# f3 x# H) V! l$ j国际化 https://example.com/zh-cn  
栏目https://example.com/food  
% _0 H$ G* s* ~8 _文章https://example.com/food/abc.html
- v4 z: X3 R# w& P
所有的a标签herf都是完整URL不存在相对URL，默认情况下国际化为zh-cn也就是url默认情况下不带zh-cn，用户选择语言下拉框后页面定向到带国际化的url.

发现日志记录了非常多的404  https://example.com/zh-cn/zh-mo/food/abc.html，问题是中间多了个国际化目录。
后改成
" g) ~5 I/ R+ |, H4 o& J首页https://example.com/
国际化https://example.com/zh-cn/
栏目改成https://example.com/food/    https://example.com/zh-cn/food/
文章https://example.com/food/abc.html    https://example.com/zh-cn/food/abc.html
& I* H+ |6 X& w0 @0 `
问题依旧,大量404是否影响SEO?
( P6 z# J& |6 V" y) m- Y6 ?

xu6882611

没有人回答一下嘛

chenkui

看源码，原始代码，不是浏览器上的

xu6882611

chenkui 发表于 2022-11-29 16:16
看源码，原始代码，不是浏览器上的

程序是我自己开发的，所有a链接都是完整的URL,不存在相对路径。
  i5 n5 k, A  R
审视过好几遍了！

比较奇怪谷歌爬虫以及必应爬虫都会出现这种现象。
7 z7 t1 ?+ E, d( w/ q7 Q0 g# S
/zh-cn/zh-tw/food/abc.html  404
/zh-tw/food/abc.html  200
# X9 q3 o! g+ p) R; j8 _0 v- I$ ]/zh-cn/food/abc.html  200