如何解决robots.txt的网址中的斜杠
我正在使用Django开发一个网站,而Django确实很喜欢其尾部的斜杠,因此,让它比反对它更容易。我打算也通过Django提供robots.txt文件,所以我想知道:
如果robots.txt文件位于example.com/robots.txt/
和example.com/robots.txt
会以斜杠重定向到URL,那么对于搜索机器人来说,这是否重要?还是这根本没有区别?
更新: 根据{{3}},至少允许五个重定向跃点,所以我很清楚。
解决方法
根据https://developers.google.com/search/reference/robots_txt 与其他URL一样,robots.txt文件的URL区分大小写,因此您只能使用robots.txt,而不能在末尾加上斜杠(和重定向)。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。