如何解决允许robots.txt中的某些参数
我的 robots.txt 中有这个,需要保留:
禁止:/*?
但是,我还需要 Google 为 URL 末尾带有 ?amp 的页面编制索引。像这样:
www.domain.com/product-name?amp=1
有没有办法允许robots.txt中的那些,同时保留前面提到的Disallow?
解决方法
引用 Google 的文档:
在组成员级别,特别是对于允许和禁止指令,基于 [path] 条目长度的最具体的规则胜过不太具体(较短)的规则。如果规则冲突,包括那些带有通配符的规则,则使用限制最少的规则。
这意味着如果允许 ?amp 但不允许其上的文件夹,它应该首先遵循更具体的规则并允许 amp 页面,但不允许层次结构更高的任何内容。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。