求助，国际化站后台日志显示很多404

xu6882611

) a3 H, t. j: d$ z: F7 {# g
* k" e; }4 a- R. i/ U! j0 j! |: w网站链接都是完整URL，没有相对路径的URL，为什么爬虫会这样组装URL?
- y5 E7 C. _" b1 b  f* |包括分页页码链接也是完整URL。
' n- g) L1 B7 i9 {* f2 A3 _
之前的链接是这样
首页https://example.com  
国际化 https://example.com/zh-cn  
栏目https://example.com/food  
文章https://example.com/food/abc.html

5 @& i' F1 B2 }0 M* J9 V. ^所有的a标签herf都是完整URL不存在相对URL，默认情况下国际化为zh-cn也就是url默认情况下不带zh-cn，用户选择语言下拉框后页面定向到带国际化的url.
, q; J2 W  p4 {1 k" `
6 c6 Q7 g' j# P8 H8 q0 ]7 N发现日志记录了非常多的404  https://example.com/zh-cn/zh-mo/food/abc.html，问题是中间多了个国际化目录。
后改成
首页https://example.com/
国际化https://example.com/zh-cn/
栏目改成https://example.com/food/    https://example.com/zh-cn/food/
文章https://example.com/food/abc.html    https://example.com/zh-cn/food/abc.html

问题依旧,大量404是否影响SEO?

xu6882611

没有人回答一下嘛

chenkui

看源码，原始代码，不是浏览器上的

xu6882611

chenkui 发表于 2022-11-29 16:16
& T2 V# H6 I- a/ L8 \% H" X1 M看源码，原始代码，不是浏览器上的

程序是我自己开发的，所有a链接都是完整的URL,不存在相对路径。
, ^+ x. v5 k# ?- l9 O8 s% R
' _( f8 `3 \, H9 w. p0 e) r; s审视过好几遍了！
! K; r4 `/ l6 }# _/ w5 N
比较奇怪谷歌爬虫以及必应爬虫都会出现这种现象。
& b0 A# U2 r9 F
. }6 N6 V# E0 Y. a$ m: @/ e. ~/zh-cn/zh-tw/food/abc.html  404
, ^& G7 w- J1 ^3 Q: ~& {" q/zh-tw/food/abc.html  200
$ m; O/ V0 w& Y; b$ j* d. x/zh-cn/food/abc.html  200