求助，国际化站后台日志显示很多404

xu6882611

" n6 F/ N( ~2 W% ^: T% }
$ C* V  |5 Z' |  r网站链接都是完整URL，没有相对路径的URL，为什么爬虫会这样组装URL?
. V0 ?% h) C0 s: C包括分页页码链接也是完整URL。

* u- `: x5 F* c0 h之前的链接是这样
首页https://example.com  
# }, ^% h) \7 G* Q& [国际化 https://example.com/zh-cn  
7 b4 K3 `) e! \8 A; ?( {5 O栏目https://example.com/food  
7 e$ @, l* g+ _/ `2 t文章https://example.com/food/abc.html

" b% M' _& z# Q4 l7 K. {7 g所有的a标签herf都是完整URL不存在相对URL，默认情况下国际化为zh-cn也就是url默认情况下不带zh-cn，用户选择语言下拉框后页面定向到带国际化的url.

发现日志记录了非常多的404  https://example.com/zh-cn/zh-mo/food/abc.html，问题是中间多了个国际化目录。
  }' ^/ n; A  W& W0 T/ t后改成
首页https://example.com/
国际化https://example.com/zh-cn/
8 L  K2 H: q9 |栏目改成https://example.com/food/    https://example.com/zh-cn/food/
文章https://example.com/food/abc.html    https://example.com/zh-cn/food/abc.html

问题依旧,大量404是否影响SEO?

xu6882611

没有人回答一下嘛

chenkui

看源码，原始代码，不是浏览器上的

xu6882611

chenkui 发表于 2022-11-29 16:16
) h0 O# ]" k( {; p: X% t  ~1 Q看源码，原始代码，不是浏览器上的

程序是我自己开发的，所有a链接都是完整的URL,不存在相对路径。

审视过好几遍了！
5 V. A) l2 z( x' i
8 }5 G1 Z" a2 T0 J5 V( s( S3 H比较奇怪谷歌爬虫以及必应爬虫都会出现这种现象。

( C3 ]: r  ?1 i. {1 U/zh-cn/zh-tw/food/abc.html  404
& P7 ?8 _$ G. D& p# T1 \/zh-tw/food/abc.html  200
/zh-cn/food/abc.html  200