Nginx通过判断User-Agent禁止爬虫采集并返回炸弹

编程之家收集整理的这篇文章主要介绍了Nginx通过判断User-Agent禁止爬虫采集并返回炸弹编程之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。

概述

caddy 有个http.nobots nobots保护你的网站免受网络爬虫和机器人,可以给采集的恶意程序返回特定的数据。

caddy 有个http.nobots

nobots保护你的网站免受网络爬虫和机器人,可以给采集的恶意程序返回特定的数据。

比如实际1G压缩成1M大小的gzip文件(炸弹),对于服务器的话就是发送了1M的文件,恶意程序请求后会自动解包为1G的数据,可以对恶意程序造成很大的压力。

类如PHP返回炸弹

<?PHP
header('content-encoding: gzip');
echo file_get_contents('1G.gzip');

如何制造炸弹

插件中未提供炸弹,因此您必须创建一个炸弹。

linux中,这确实很容易,您可以使用以下命令。

dd if=/dev/zero bs=1M count=1024 | gzip > 1G.gzip
dd if=/dev/zero bs=1M count=10240 | gzip > 10G.gzip
dd if=/dev/zero bs=1M count=1048576 | gzip > 1T.gzip

炸弹(1G.gzip)和PHP(bomb.PHP)文件放在同一个目录

Nginx添加配置

location / {
  #UA BOMB
  if ($http_user_agent ~* "(zhadan|bomb)") {
    rewrite ^/.*  /bomb.PHP last;
  }
}

修改(zhadan|bomb)为恶意UA列表

修改/bomb.PHP为你的炸弹PHP路径

如果本身已经有伪静态配置了,也就是有location / {的配置了,就添加进去就行了。

只需要下面这些

  #UA BOMB
  if ($http_user_agent ~* "(zhadan|bomb)") {
    rewrite ^/.*  /bomb.PHP last;
  }

当然你也可以返回410

直接在Nginx的location模块中添加if判断header,返回410错误

if ($http_user_agent ~* (SemrushBot|Semrush) ) {
    return 410;
}

使用以上这个Nginx的配置采集大文件反攻采集,相信可以杜绝掉一些恶意采集的站点程序。

总结

以上是编程之家为你收集整理的Nginx通过判断User-Agent禁止爬虫采集并返回炸弹全部内容,希望文章能够帮你解决Nginx通过判断User-Agent禁止爬虫采集并返回炸弹所遇到的程序开发问题。

如果觉得编程之家网站内容还不错,欢迎将编程之家网站推荐给程序员好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。

Nginx文章

caddy 有个http.nobots nobots保护你的网站免受网络爬虫和机器人,可以给采集的恶意程序返回特定的数据。
Nginx是一款高性能的http 服务器/反向代理服务器及电子邮件(IMAP/POP3)代理服务器。由俄罗斯的程序设计师Igor Sysoev所开发,官方测试nginx能够支支撑5万并发链接,并且cp
Nginx的代理功能与负载均衡功能是最常被用到的,本文主要简述代理,反向代理,负载均衡的相关知识点,及利用Nginx实现反向代理和负载均衡的操作步骤,仅供学习分享使用,如有不足之处,还请指正。
问题背景 最近偶然对线上域名配置的nginx IP进行直接访问后,发现http居然是可以通的,而https直接IP访问浏览器会报证书不安全的提示,点击详细查看发现是固定返回了nginx配置的某一个ap
Git Hooks Git 能在特定的重要动作发生时触发自定义的脚本。 这些脚本都被存储在 Git 目录下的 hooks 子目录中( )。当 git init 初始化一个仓库时,Git 默认会在这个目
macOS Sierra 11.12 已经帮我们预装了 Ruby、PHP(5.6)、Perl、Python 等常用的脚本语言,以及 Apache HTTP 服务器。由于 nginx 既能作为 HTTP
启动uwsgi出现no internal routing support, rebuild with pcre support使用如下命令,记录下,方便后人需要注意的是pip install uwsg
报这个错,我们可以去查看错误日志,进入如下目录 错误信息如下: 解决办法,在/data/下创建 wwwlogs目录,重启nginx即可 systemctl restart nginx 成功启动!!!
微信公众号搜索 “ 程序精选 ” ,选择关注!
微信公众号搜 "程序精选"关注