求助，国际化站后台日志显示很多404

xu6882611

6 K) K- K% ~2 z5 t( i; ~0 d
网站链接都是完整URL，没有相对路径的URL，为什么爬虫会这样组装URL?
: Q+ p) b: d- ~8 B包括分页页码链接也是完整URL。
5 n2 _5 c3 h4 X' o7 r  i) N
1 F% @1 L3 I9 J$ J& X; |之前的链接是这样
+ s( I- s- M( k6 n6 S7 ]首页https://example.com  
国际化 https://example.com/zh-cn  
栏目https://example.com/food  
! a" ]$ Y. X8 [4 L2 e文章https://example.com/food/abc.html

所有的a标签herf都是完整URL不存在相对URL，默认情况下国际化为zh-cn也就是url默认情况下不带zh-cn，用户选择语言下拉框后页面定向到带国际化的url.
! C. Y0 p: T. H: j
5 W& v6 ?  t/ k发现日志记录了非常多的404  https://example.com/zh-cn/zh-mo/food/abc.html，问题是中间多了个国际化目录。
后改成
首页https://example.com/
国际化https://example.com/zh-cn/
5 n4 Z6 i. H8 `4 a# n0 l栏目改成https://example.com/food/    https://example.com/zh-cn/food/
6 E. U" A3 q; `1 ~文章https://example.com/food/abc.html    https://example.com/zh-cn/food/abc.html

问题依旧,大量404是否影响SEO?
2 o/ G# N, ^8 m% p

xu6882611

没有人回答一下嘛

chenkui

看源码，原始代码，不是浏览器上的

xu6882611

chenkui 发表于 2022-11-29 16:16
看源码，原始代码，不是浏览器上的

% u5 Q; k+ Q6 @/ P0 k6 a' v6 a9 p程序是我自己开发的，所有a链接都是完整的URL,不存在相对路径。

/ M* F! ?7 X+ D4 V2 M- W审视过好几遍了！

' N% |2 r6 I$ u0 e( j/ ~' G) W8 e' E$ ?比较奇怪谷歌爬虫以及必应爬虫都会出现这种现象。

/zh-cn/zh-tw/food/abc.html  404
/zh-tw/food/abc.html  200
: L% a$ g- Z7 v. \1 R/zh-cn/food/abc.html  200