求助，国际化站后台日志显示很多404

xu6882611

网站链接都是完整URL，没有相对路径的URL，为什么爬虫会这样组装URL?
, z0 r( W( J+ S- ~4 N+ s包括分页页码链接也是完整URL。
+ v, ]! T6 u1 Z1 ~2 s
之前的链接是这样
: L! R( d3 {/ C, A首页https://example.com  
" p% o1 y* P" ~' j. q6 O国际化 https://example.com/zh-cn  
栏目https://example.com/food  
文章https://example.com/food/abc.html

所有的a标签herf都是完整URL不存在相对URL，默认情况下国际化为zh-cn也就是url默认情况下不带zh-cn，用户选择语言下拉框后页面定向到带国际化的url.
9 q" [) a6 Y. A" o/ F( X
2 `& Y( I( K* u" O" I3 l1 f3 q发现日志记录了非常多的404  https://example.com/zh-cn/zh-mo/food/abc.html，问题是中间多了个国际化目录。
% @0 B: `) n' e! [# B后改成
, f- {1 `/ }& U1 d  U首页https://example.com/
国际化https://example.com/zh-cn/
' w' @6 ^% t! w; K; V栏目改成https://example.com/food/    https://example.com/zh-cn/food/
文章https://example.com/food/abc.html    https://example.com/zh-cn/food/abc.html
# f/ u( w- v% u
问题依旧,大量404是否影响SEO?
7 n5 E' K) [/ ]* \& f9 ^

xu6882611

没有人回答一下嘛

chenkui

看源码，原始代码，不是浏览器上的

xu6882611

chenkui 发表于 2022-11-29 16:16
看源码，原始代码，不是浏览器上的

程序是我自己开发的，所有a链接都是完整的URL,不存在相对路径。

审视过好几遍了！

比较奇怪谷歌爬虫以及必应爬虫都会出现这种现象。
+ l' c3 \; ]8 z2 n/ n4 p. L
/zh-cn/zh-tw/food/abc.html  404
/zh-tw/food/abc.html  200
7 L* ?4 r4 m" x/zh-cn/food/abc.html  200