求助，国际化站后台日志显示很多404

xu6882611

' ~3 ~* v$ T5 @: e3 ~6 P
2 T; {/ h6 k& g2 g9 i网站链接都是完整URL，没有相对路径的URL，为什么爬虫会这样组装URL?
包括分页页码链接也是完整URL。
4 J, w0 c7 B6 n! G3 a+ T
之前的链接是这样
首页https://example.com  
% q; f. c, s6 W7 h国际化 https://example.com/zh-cn  
% T* u  Y" z9 I/ w) Y3 {栏目https://example.com/food  
文章https://example.com/food/abc.html

所有的a标签herf都是完整URL不存在相对URL，默认情况下国际化为zh-cn也就是url默认情况下不带zh-cn，用户选择语言下拉框后页面定向到带国际化的url.
0 Y5 e0 U  J' J2 K' ~! b
$ ~/ W. u; h, @: P* ]发现日志记录了非常多的404  https://example.com/zh-cn/zh-mo/food/abc.html，问题是中间多了个国际化目录。
后改成
首页https://example.com/
" p' k8 k: Q+ i1 r% }" ^国际化https://example.com/zh-cn/
栏目改成https://example.com/food/    https://example.com/zh-cn/food/
! o9 L4 [4 y- v) v  D2 ~. ~文章https://example.com/food/abc.html    https://example.com/zh-cn/food/abc.html

! k! F* J4 ]6 `2 V$ H问题依旧,大量404是否影响SEO?

xu6882611

没有人回答一下嘛

chenkui

看源码，原始代码，不是浏览器上的

xu6882611

chenkui 发表于 2022-11-29 16:16
看源码，原始代码，不是浏览器上的

程序是我自己开发的，所有a链接都是完整的URL,不存在相对路径。
1 ^$ ~( D" o7 K. V
审视过好几遍了！

. ?% u% u: k! L+ s( s- j7 }1 e比较奇怪谷歌爬虫以及必应爬虫都会出现这种现象。
2 Z9 a5 T1 M0 T
8 d/ m& ^; n( x  ?; L0 v% r; Q4 H( g/zh-cn/zh-tw/food/abc.html  404
. c- I  \. ~$ U$ [; k& h1 [+ s/zh-tw/food/abc.html  200
0 \; V; p2 D" u% c0 K' A1 s/zh-cn/food/abc.html  200