求助，国际化站后台日志显示很多404

xu6882611

8 K  x# O/ P, w0 }
/ r3 Q! W# d& V5 P9 Y+ o网站链接都是完整URL，没有相对路径的URL，为什么爬虫会这样组装URL?
6 n* L0 g2 h& t4 I# u包括分页页码链接也是完整URL。

; q5 E8 l, \" \0 w之前的链接是这样
, d3 W& n7 W& |3 a7 n首页https://example.com  
) j6 u4 y( B0 w, b% P6 Y' ?国际化 https://example.com/zh-cn  
栏目https://example.com/food  
/ b2 E& W' ~( t+ ]文章https://example.com/food/abc.html

所有的a标签herf都是完整URL不存在相对URL，默认情况下国际化为zh-cn也就是url默认情况下不带zh-cn，用户选择语言下拉框后页面定向到带国际化的url.

发现日志记录了非常多的404  https://example.com/zh-cn/zh-mo/food/abc.html，问题是中间多了个国际化目录。
后改成
首页https://example.com/
国际化https://example.com/zh-cn/
栏目改成https://example.com/food/    https://example.com/zh-cn/food/
9 h+ S7 E& F. D/ H* ?文章https://example.com/food/abc.html    https://example.com/zh-cn/food/abc.html

6 n( k9 G( H; _7 C/ t问题依旧,大量404是否影响SEO?
0 \" r% c+ U' o7 u& w

xu6882611

没有人回答一下嘛

chenkui

看源码，原始代码，不是浏览器上的

xu6882611

chenkui 发表于 2022-11-29 16:16
# H0 z2 a5 s* t  e看源码，原始代码，不是浏览器上的

7 G" P) v% [; ]程序是我自己开发的，所有a链接都是完整的URL,不存在相对路径。

审视过好几遍了！

; ]6 `; P& W2 ~0 S8 G# G: e比较奇怪谷歌爬虫以及必应爬虫都会出现这种现象。
* i4 t) g) c3 p% ?4 P1 \
/zh-cn/zh-tw/food/abc.html  404
2 y# D; B6 W! U# F4 K- }/zh-tw/food/abc.html  200
$ L) f% M) W1 `, a$ q+ K+ ^( N/zh-cn/food/abc.html  200