如何解决禁止googlebot访问统计信息网址
我有我的域,我托管一个类似于bitit的链接缩短器。当有人进行短链接时,他们可以在网址末尾添加一个〜s,并可以访问该网址的统计信息。
示例:
最后没有〜s的方式与其他任何URL缩短器一样。我想知道我是否以某种方式拒绝所有搜索引擎将任何以urls结尾的页面编入robots.txt中的〜索引吗?
https://example.com/123应该被允许,但https://example.com/123~s
解决方法
robots.txt
似乎支持通配符:
User-Agent: *
Disallow: /*~s
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。