如何解决搜索引擎robot.txt
| 我想添加robot.txt,以便可以找到我的网页... 因此,我听说在网站的根目录中放置带有元标记的“ 0”即可。 这是真的吗? 添加或生成此robot.txt的步骤是什么? 我发现了这个解决方法
Robots.txt还可用于告诉爬虫一旦到达您的网站就该去哪里。
使抓取工具进入您的网站的一种更好的方法是为您的网站构建一个站点地图,然后使用Google网站管理员将该站点地图提交给google。您还希望将站点地图包含在站点的根URL中,并告诉google它在哪里(所有这些都可以在上面链接的Google网站站长工具中完成)。
, 不,它不会使您的网页突然可见。它只是指导网络爬虫如何索引您的网站。
http://www.robotstxt.org/
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。