如何解决Google漫游器会发出无效请求吗?
| 我正在建立一个组件来禁止垃圾邮件机器人的IP,这些IP机器人始终会发出无效请求,并且没有用户会犯错误。 例如,他们总是试图提交空表格,或者对仅应接收POST请求的URL进行GET请求。 我想知道的是,我是否有禁止这样做的危险。 他们是否足够聪明,不会抓取遇到的每个网址?他们避免使用表单网址吗?解决方法
Googlebot遵循链接。它将仅请求找到链接的页面。当然,该链接不必位于您的网站上,因此可能不受您的直接控制。
Googlebot只会发出GET请求,因为根据RFC,GET请求必须没有副作用。因此,它们无法更改服务器上的状态。提示:切勿使用链接(即\“ get \”)来执行或确认对您的网站进行的更改,否则任何网络蜘蛛都可能触发它。
为了安全起见,您拥有的每个更改站点状态的CGI都应验证传入的请求确实是POST。
,Googlebot确实发出了无效请求。我发现在“发件人:”标头中发出的一些请求在标头指定的邮箱名称中不包含“ @”符号。其他机器人有时也会这样做。因此,请在请求中注意无效的可选标头数据。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。