求助，国际化站后台日志显示很多404

xu6882611

! Q; s' O9 ~2 n( w" u* d$ J% n9 u网站链接都是完整URL，没有相对路径的URL，为什么爬虫会这样组装URL?
# [8 Y. `7 B) V4 t8 y9 [9 b包括分页页码链接也是完整URL。
: a' G$ r8 Q) m! Q
8 d# |+ ~$ s+ v, U8 U: {  [之前的链接是这样
) u5 z" w. y  d" G8 R首页https://example.com  
% H' H5 Z# o2 L8 b$ i7 U国际化 https://example.com/zh-cn  
栏目https://example.com/food  
文章https://example.com/food/abc.html
) Z1 B% b* R6 z) w" H0 V: G  q
所有的a标签herf都是完整URL不存在相对URL，默认情况下国际化为zh-cn也就是url默认情况下不带zh-cn，用户选择语言下拉框后页面定向到带国际化的url.
( b$ @4 z; C1 t6 C7 A& l
发现日志记录了非常多的404  https://example.com/zh-cn/zh-mo/food/abc.html，问题是中间多了个国际化目录。
" o) {# N: {' \后改成
首页https://example.com/
国际化https://example.com/zh-cn/
3 q9 Y' J: ~+ o7 v, R: |' Y5 u栏目改成https://example.com/food/    https://example.com/zh-cn/food/
文章https://example.com/food/abc.html    https://example.com/zh-cn/food/abc.html

问题依旧,大量404是否影响SEO?

xu6882611

没有人回答一下嘛

chenkui

看源码，原始代码，不是浏览器上的

xu6882611

chenkui 发表于 2022-11-29 16:16
' l0 C% K  T" c% h看源码，原始代码，不是浏览器上的

  Z' L, l4 I4 M/ C/ P程序是我自己开发的，所有a链接都是完整的URL,不存在相对路径。

审视过好几遍了！

- f; m  m/ T% J) `1 f比较奇怪谷歌爬虫以及必应爬虫都会出现这种现象。

: E5 n& |. V+ a- o7 Q/zh-cn/zh-tw/food/abc.html  404
) K5 O' ]) B! w3 \  F/zh-tw/food/abc.html  200
/zh-cn/food/abc.html  200