如何解决ASP.Net如何允许Searchbotsgoogle跳过免责声明页面
|| 我正在创建一个ASP.NET网站,它强迫用户接受免责声明。当他们接受免责声明时,将设置cookie和会话。在每个页面请求上都会触发检查以查看会话或cookie是否存在。 我们希望允许Google和其他Searchbot在不接受免责声明的情况下对所有页面进行索引/爬网。 最好的方法是什么?我唯一能想到的就是将ѭ0选中,但是我不确定应该寻找的女巫值吗?解决方法
如果Googlebot经过,您需要绕过会话/会话的检查。
因此,在此检查中,您确实确实需要查看ServerVariables。例如。对于Google来说,这就像
HttpContext.Current.Request.ServerVariables[\"HTTP_USER_AGENT\"].Contains(\"Googlebot\"))
当然,任何伪装成Google的人现在也可以跳过免责声明。
我不会称其为伪造-但不能保证Google是否喜欢
, 您必须为此添加元标记,否则使用web.config拒绝访问元标记以这种方式工作
<meta name=\"robots\" content=\"noindex nofollow\">
专门为谷歌它是
<meta name=\"googlebot\" content=\"noindex\">
您也可以尝试网址删除请求服务
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。