找回密码
 立即注册

QQ登录

只需一步,快速开始

PropellerAds
⚡️按条S5代理⚡️静态⚡️独享⚡️5GMediabuy⚡️玩家开户首选【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户
Affiliate 全媒体流量资源⚡️Taboola/Outbrain /Bing⚡️一级代理开户投流-7*24h❤️人工在线【官方】❤️搜索套利买量投流开户
独立站⚡️开户投放Google FB TK游戏代投⚡️E.PN 虚拟卡⚡️BINOM TRACKER 60% OFF!
比Adplexity还好用的Spy工具ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理全球虚拟卡, 支持U充值
【15 年团队 - 广告自动化系统、定制开发】【ActionKey】Meta API 桥接令牌尤里改 - FB 稳定投放【神盾 AI】Meta 广告资产防护 永久免费
FB 三不限源头 - 自助下户充值转款各种主页、账单户、BM户(优势)IPCola原生住宅IP⚡️$1.8/条双ISPTK加白户/二解户/FB海外户/GG老户
最大欧洲Nutra网盟BA找量 FB高权重耐操个号⚡️稳定过审联盟收款/海外资金下发/服贸结汇✔Taboola海外户源头
全球效果广告投放平台|Vertoz IngeniousPlexSX.ORG 住宅IP | 凭码ADVERT3免费领3GB广告位出租 
查看: 3458|回复: 3

求助,国际化站后台日志显示很多404

[复制链接]

21

主题

237

广告币

334

积分

初级会员

积分
334

社区QQ达人

发表于 2022-11-28 18:36:57 | 显示全部楼层 |阅读模式

3 U# A' N" J9 {  X
2 b7 B& @- |0 q网站链接都是完整URL,没有相对路径的URL,为什么爬虫会这样组装URL?2 V8 n5 T# y; M0 H# Y, v
包括分页页码链接也是完整URL。: |- `& |! R: N3 a; y% X
: M! u1 x4 B6 ?7 {& n8 o# W- l4 n  s: Q- h
之前的链接是这样
& r5 D. |5 J: T  Q$ B首页https://example.com  " u/ `' Q& `: S4 J" R9 X; c
国际化 https://example.com/zh-cn  
* Q+ ]- }  B% [4 z$ |. _栏目https://example.com/food    ]' z- I& S  _$ z! p0 L( r
文章https://example.com/food/abc.html
$ j# G4 s+ _! p; W# c% `* f' p; c
% W! I6 v8 O# w; j" O/ c所有的a标签herf都是完整URL不存在相对URL,默认情况下国际化为zh-cn也就是url默认情况下不带zh-cn,用户选择语言下拉框后页面定向到带国际化的url.
2 m6 t/ ]9 H6 g7 W/ W
) n. R# {/ h8 O' `4 Q2 L, u6 ^, |; U  n发现日志记录了非常多的404  https://example.com/zh-cn/zh-mo/food/abc.html,问题是中间多了个国际化目录。; ?0 Q6 t' P3 e; @; X: V' k
后改成 3 X5 o+ S: G4 h; t/ g6 I8 l! V
首页https://example.com/ / P+ i( `- H2 |9 k9 h  g, @% k* |
国际化https://example.com/zh-cn/7 N2 z) f  e2 b' u) m: T
栏目改成https://example.com/food/    https://example.com/zh-cn/food/  o  N" I5 c; i$ Z" l% M
文章https://example.com/food/abc.html    https://example.com/zh-cn/food/abc.html/ [7 {+ p* d& ?( H/ y' o

7 Y7 G, }: R# K9 U问题依旧,大量404是否影响SEO?
9 B9 ]! |( _* \; Y/ N

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
相关帖子
Binom_AdvertCN
回复

使用道具 举报

21

主题

237

广告币

334

积分

初级会员

积分
334

社区QQ达人

 楼主| 发表于 2022-11-29 05:36:22 | 显示全部楼层
回复 支持 反对

使用道具 举报

25

主题

686

广告币

839

积分

中级会员

积分
839

社区QQ达人

发表于 2022-11-29 16:16:57 | 显示全部楼层
看源码,原始代码,不是浏览器上的

点评

程序是我自己开发的,所有a链接都是完整的URL,不存在相对路径。 审视过好几遍了! 比较奇怪谷歌爬虫以及必应爬虫都会出现这种现象。 /zh-cn/zh-tw/food/abc.html 404 /zh-tw/food/abc.html 200 /zh-cn/food/abc  详情 回复 发表于 2022-11-29 16:40
回复 支持 反对

使用道具 举报

21

主题

237

广告币

334

积分

初级会员

积分
334

社区QQ达人

 楼主| 发表于 2022-11-29 16:40:18 | 显示全部楼层
chenkui 发表于 2022-11-29 16:16
5 A' I2 m; n) ~3 I) ~+ {6 l看源码,原始代码,不是浏览器上的
2 N" c/ b6 f# A! P
程序是我自己开发的,所有a链接都是完整的URL,不存在相对路径。
4 A$ f2 b7 a+ f
& u" o4 c2 d" J' w6 h  E9 ?7 c审视过好几遍了!
! {6 S4 j% W& h  v4 ?
- B" q1 u4 N3 i5 \& n比较奇怪谷歌爬虫以及必应爬虫都会出现这种现象。
6 I* P7 u5 J$ \# i' D: t6 Y  H* ~# y+ b; p6 W. U: O
/zh-cn/zh-tw/food/abc.html  404
- L1 q9 C! W6 X, i0 i. Y/zh-tw/food/abc.html  200
# _) F2 Z' E. L$ J/zh-cn/food/abc.html  200
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2026-11-20 17:20 , Processed in 0.069326 second(s), 25 queries , Gzip On.

Copyright © 2001-2026, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表