如何解决如何阻止google-bot将我的s3存储桶中的文件夹编入索引?
我有一个带有静态网站托管设置+ Cloudfront的Amazon S3存储桶。 我在s3存储桶[example.com/Books]内有一个文件夹,其中包含pdf文件。 我已经在Google搜索控制台中提交了一个站点地图[其中不包含任何pdf网址],但是google正在为搜索结果中的pdf文件编制索引。
在搜索控制台中,我添加了一个请求,要求从搜索结果中删除所有带有前缀[example.com/Books/*]的网址,并立即将其删除。我搜索了如何停止对文件和文件夹建立索引,并发现必须添加“ X-Robots-Tag:noindex” 作为http标头元数据。如何将其添加到s3存储桶?我已将自定义元数据添加到“书”文件夹中, x-amz-meta-X-Robots-Tag:noindex 。
我已经读过很多文章,其中写道,我不应该阻止Robot使用Robots.txt访问该文件夹,因为它不会告诉搜索引擎“ noindex” http我已添加到该文件夹的标题。现在该怎么办?
解决方法
您可以使用robots.txt,它适用于所有搜索引擎漫游器。
robots.txt 使用的文件名与我给的完全相同。
User-agent: *
Disallow: /foldername/
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。