求助，国际化站后台日志显示很多404

xu6882611

; K* p1 ]7 C$ o( e; Y
5 L% q0 I" |! c# z1 [( M5 w4 s! ]网站链接都是完整URL，没有相对路径的URL，为什么爬虫会这样组装URL?
包括分页页码链接也是完整URL。
- E+ [" x' I9 x4 G- `& m. m+ [
5 B6 f" B" }4 G0 K之前的链接是这样
  i6 H+ A6 N% [& x首页https://example.com  
国际化 https://example.com/zh-cn  
栏目https://example.com/food  
文章https://example.com/food/abc.html
5 z' D, U7 e  g+ R  A) b
2 r$ E" t5 t; s3 |所有的a标签herf都是完整URL不存在相对URL，默认情况下国际化为zh-cn也就是url默认情况下不带zh-cn，用户选择语言下拉框后页面定向到带国际化的url.

发现日志记录了非常多的404  https://example.com/zh-cn/zh-mo/food/abc.html，问题是中间多了个国际化目录。
# ]6 X9 t' C9 Y" S) K后改成
$ a, S& _' E+ v% Z$ Z$ l首页https://example.com/
2 X+ a. B4 O1 b国际化https://example.com/zh-cn/
栏目改成https://example.com/food/    https://example.com/zh-cn/food/
2 F7 Z) F, B$ V( Y& @文章https://example.com/food/abc.html    https://example.com/zh-cn/food/abc.html

% T. M) {; K0 r% p) X问题依旧,大量404是否影响SEO?

xu6882611

没有人回答一下嘛

chenkui

看源码，原始代码，不是浏览器上的

xu6882611

chenkui 发表于 2022-11-29 16:16
看源码，原始代码，不是浏览器上的

程序是我自己开发的，所有a链接都是完整的URL,不存在相对路径。

0 u6 q: l+ Z# l" s' Y, Y% _) @审视过好几遍了！

  Q% ?3 H2 s  E1 }% |+ m% h; s比较奇怪谷歌爬虫以及必应爬虫都会出现这种现象。

/zh-cn/zh-tw/food/abc.html  404
/zh-tw/food/abc.html  200
/zh-cn/food/abc.html  200