wordpress网站必须有robots.txt文件吗？

luck · 发表于 2020-10-8 07:16:01

好像以前听到说需要有一个robots.txt文件，那么我的网站没有什么需要屏蔽的，设成以下方式行不行？也就是说只有一行，没有其它的。
谢谢！

GGBone · 发表于 2020-10-8 08:33:50

不需要，可以直接删除

一家之言 · 发表于 2020-10-8 12:51:16

放一个吧，搜索引擎爬虫进来的时候会先去爬robots.txt文件，如果没有会出现爬取404；
如果没有需要屏蔽的，直接用以下代码即可：

复制代码

marcow · 发表于 2020-10-8 22:53:24

可是如果robots不写清楚，像新站好不容易引来蜘蛛尽爬些没用的玩意不会浪费蜘蛛嘛

河小马 · 发表于 2020-10-9 16:53:47

这个还是要有的

否则error log 里面不停的出现error

因为robots.txt 以及favicon 是经常被各种bot 访问的

wordpress 自带，你不用管就好了

		自动登录	找回密码
密码			立即注册

Google-Bing-Mediago-Criteo开户	⚡️按条S5代理⚡️静态⚡️独享⚡️5G	Mediabuy⚡️玩家开户首选	【鲁班跨境通-自助充值转账】
FB/GG/TT❤️官方免费开户	Affiliate 全媒体流量资源⚡️	Taboola/Outbrain /Bing⚡️一级代理	*开户投流-724h❤️人工在线**
【官方】❤️搜索套利买量投流开户	独立站⚡️开户投放	Google FB TK游戏代投	⚡️E.PN 虚拟卡⚡️
BINOM TRACKER 60% OFF!	比Adplexity还好用的Spy工具	ADPLEXITY + ADVERTCN	7200W全球动态不重复住宅IP代理
全球虚拟卡, 支持U充值	【15 年团队 - 广告自动化系统、定制开发】	【ActionKey】Meta API 桥接令牌	尤里改 - FB 稳定投放
【神盾 AI】Meta 广告资产防护永久免费	FB 三不限源头 - 自助下户充值转款	各种主页、账单户、BM户（优势）	IPCola原生住宅IP⚡️$1.8/条双ISP
FB资源，账单户，分享户，国内一手	TK加白户/二解户/FB海外户/GG老户	最大欧洲Nutra网盟BA找量	FB高权重耐操个号⚡️稳定过审
FB企业户海外户,授信户,TK加白户	联盟收款/海外资金下发/服贸结汇	✔Taboola海外户源头	广告位出租

[SEO] wordpress网站必须有robots.txt文件吗？