求助，国际化站后台日志显示很多404

xu6882611

. g* O; c! R9 Q$ S5 E& F8 f6 I/ {' ^网站链接都是完整URL，没有相对路径的URL，为什么爬虫会这样组装URL?
* e6 s$ N, u# g* v( `7 ^包括分页页码链接也是完整URL。
0 D. e5 r8 z; d
之前的链接是这样
# W$ ~$ y7 @! A7 E8 q0 d# f2 R& t首页https://example.com  
国际化 https://example.com/zh-cn  
2 v) Q3 u6 s; H0 K# D" G* Z( l2 @栏目https://example.com/food  
, C0 C) z, G, ]! k文章https://example.com/food/abc.html
& o( u) m' S+ M/ i* G. |0 v
所有的a标签herf都是完整URL不存在相对URL，默认情况下国际化为zh-cn也就是url默认情况下不带zh-cn，用户选择语言下拉框后页面定向到带国际化的url.
- G$ m. p/ h% e6 |
发现日志记录了非常多的404  https://example.com/zh-cn/zh-mo/food/abc.html，问题是中间多了个国际化目录。
后改成
: M6 Y$ C/ j, V1 X$ F4 V首页https://example.com/
国际化https://example.com/zh-cn/
0 P! o  u, x$ l3 V栏目改成https://example.com/food/    https://example.com/zh-cn/food/
6 a: ]3 {; _7 H# D. N" e文章https://example.com/food/abc.html    https://example.com/zh-cn/food/abc.html

问题依旧,大量404是否影响SEO?

xu6882611

没有人回答一下嘛

chenkui

看源码，原始代码，不是浏览器上的

xu6882611

chenkui 发表于 2022-11-29 16:16
看源码，原始代码，不是浏览器上的

& r: H% n% R5 G# \3 g! J! z* X程序是我自己开发的，所有a链接都是完整的URL,不存在相对路径。

1 u* N% {: g$ [% x7 b- S2 J  \" B4 L审视过好几遍了！
2 N& S+ o! W+ D+ s( Q5 k$ c
. A7 F3 y$ j& a- q; Q' e比较奇怪谷歌爬虫以及必应爬虫都会出现这种现象。
( O; ^' ]+ Z1 A" F
+ h  B. ~& |; b, r  C& q* S/zh-cn/zh-tw/food/abc.html  404
. e1 }* h3 U8 F# @9 N8 `/zh-tw/food/abc.html  200
/zh-cn/food/abc.html  200