如何解决使用IIS为不同的子域指定robots.txt
|| 我在www.example.com上有一个站点,在beta.example.com和Preview.example.com上也有两个登台平台,我需要一种方法来为每个使用IIS或类似工具的robots.txt设置不同的方法 原因是我要禁止除www域之外的所有蜘蛛,因为它们正在复制重复的内容 有人知道这是否可能吗?解决方法
是否有一个原因,您不能只拥有3个不同的robots.txt文件,每个主机一个?
如果您需要自动处理此问题,建议您使用“ 0”处理对robots.txt的请求。如果ѭ1是www.example.com,则返回robots.allow.txt,否则返回robots.deny.txt。
如果您对此想法感兴趣,并且需要一些示例代码来入门,请告诉我。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。