如何解决阻止 Google Web Preview bot
我今天在网络服务器日志中注意到,我们有时会从带有 450 requests in 2 seconds
的用户代理处获得 bursts (Google Web Preview
) 请求。从 other stackoverflow 来看,这似乎可能与搜索页面上的预览功能有关,或者可能与用户 Chrome 选项卡底部保存/最常用的链接有关。
我已经在 robots.txt
中屏蔽了这些特定的 URL,因此,它显然忽略了这一点。从 this 2010 instant previews page 看来,您可以添加 nosnippet
标记,然后 Google 将不会尝试获取预览。但是,似乎添加 nosnippet
并不会真正停止请求(因为他们仍然需要获取页面来解析标签)。
除了阻止 Google 的 IP 地址(我不想这样做)之外,是否有一种不错的方法可以阻止 Google 定期攻击服务器。
解决方法
我想你可能做到了,但是当我遇到这样的问题时,我会创建一个缓冲页面,并在该页面上提供链接,例如管理面板的链接,我不想被呈现并在该页面上使用 NO 索引
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。