如何解决禁止除主页之外的 amp 页面并禁止子域以防止出现在域搜索控制台中
我认为以下 robots.txt 有问题
Sitemap: https://example.com/sitemap_index.xml
User-agent: *
Disallow:
问题如下:
- 我可以看到搜索控制台中出现了一些 amp 页面,其中出现了服务器错误 500。问题是因为我的 wordpress 站点中的两个插件 Gtranslate 和 amp for wp 没有相互正确集成。所以我想禁止除主页放大器之外的所有放大器页面。我可以看到在那些有服务器错误 500 的 url 中有这些 url:
https://example.com/sample-page-1-path/amp/
https://example.com/ample-page-2-path/?amp
所以我想禁止所有这些,除了下面的一个
https://example.com/amp/
https://example.com/?amp
- 我可以看到子域 url 出现在此域搜索控制台中,其中出现服务器错误 500,就像这样
https://adliv.example.com/wp-config.php.db
作为解释,我们可能在主域下为客户创建了很多子域 我希望它们的索引是分开的。因为 example.com 不是 sub.example.com 并且在搜索控制台中的 example.com 中包含 sub.example.com 的数据是没有意义的。他们有单独的托管。 所以我想防止example.com上的这些数据被搜索引擎抓取。
-------------------------------------
- 我还希望根域中的所有目录和子目录及其内容对搜索引擎隐藏,但只有站点地图和允许的 url 可用于将它们编入索引。
-------------------------------------
- 我在 example.com/academy/ 上有一个子目录站点。我不想影响它被索引。我的意思是它应该被索引并拥有它自己的robot.txt。
-------------------------------------
对于数字 3 和 4,我认为 wordpress 会很小心,我并不担心它们。仅针对 1 号和 2 号,我不知道该怎么做。你能帮我解决这个问题吗?无论我应该编辑 robots.txt 还是编辑 htaccess ,都可以。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。