如何解决如何在 robots.txt 中只允许一个代理?
我目前在我的 robots.txt 中使用以下代码来禁止任何爬虫访问我的网站。但我只想有一个例外,那就是 Google AdSense 的抓取工具。
这是我的代码:
Pickup(int type);
Google 的 AdSense 抓取工具名为“Mediapartners-Google”。
如何将其添加为例外,并继续阻止所有其他爬虫?
谢谢,伙计们!
解决方法
这可能就是您要找的:
User-agent: Mediapartners-Google Disallow:
User-agent: * Disallow: /
并不是需要条目之间的分隔空行。
不能保证所有机器人都遵守这些规则。机器人在自愿的基础上遵守这些规则。所以“邪恶的”机器人很可能不会在意......
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。