如何解决为什么 robots.txt 很重要?没有robots.txt的网站安全吗?
虽然抓取网络 robots.txt 很重要,甚至可以规范行为。但是对于一个node.js 的网站是不是必须要有robot's.txt? 此外,什么是站点地图,为什么需要它,就像我在下面的示例中发现的那样?
User-Agent: *
User-agent: Googlebot-Image
Disallow: /*/ivc/*
Disallow: /users/flair/
Disallow: /jobs/n/*
Disallow: /jobs/a/*
Disallow: /jobs/companies/n/*
Disallow: /jobs/companies/a/*
Sitemap: https://stackoverflow.com/sitemap.xml
我浏览了几个链接,想要一个简短的解决方案。 此外,如果我没有 robots.txt,我的网站是否更容易出现危险?
解决方法
sitemap
是一个 XML 文件,其中包含您网站上所有网页的列表以及元数据(元数据是与每个 URL 相关的信息)。与 robots.txt
文件的工作方式相同,站点地图允许搜索引擎在一个位置抓取您网站上所有网页的索引。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。