有效监控？如何避免交替疲劳？

如何解决有效监控？如何避免交替疲劳？

从黑客和编码的意义上来说，这不是开发人员的问题，但我不能是唯一一个必须维护客户站点中的代码和流程并对其进行故障排除的程序员。每当我们将某些东西投入生产时，我们都会设置规则和状态，通过这些规则和状态，我们可以识别软件的“正确”状态（已建立的连接、年龄和文件大小、sql 中的日志条目……）。在那之后，麻烦开始了：错误状态发送票证、邮件、高优先级邮件、在专用监视器上闪烁红色、将消息发送到团队，......每次“足够”处理使用一种方式，一个往往会淡出它，我们必须找到一种新的方式来引起我们自己的注意。

当然，有许多警报只是暂时闪烁或闪烁一次，然后还有那些刚刚存在的警报，因此文档中包含一个可供勾选的传感器。总而言之，它们塞满了我们的票务系统和监控系统，并且可以监督真正的威胁（大的、坏的传感器变红或小的传感器经常、系统地变红）。

有没有人有避免警报疲劳的金子弹？

解决方法

是的，Nagios（至少，这曾经是我们 10 多年前的解决方案。据我所知，现在可能会有更新的东西）。 Nagios 的核心是开源的。此外，您可以购买他们的一本书，然后将他们的基本做事方式复制到您现有的系统中。 https://www.nagios.org/about/propaganda/books/

他们使用节点的层次结构。因此，如果上游节点出现故障，您只会收到该节点的通知，而不是下游节点的全部通知。

他们还对角色、组和通信方法使用不断升级的层次结构。因此，如果出现问题，您无需通知所有人，只需通知一个角色/组（至少在最初）。

此外，他们还可以设置通知的粒度严重性。例如，如果某件事只是间歇性地出现故障，您可以决定这对您是否重要。

现在这不是我的专业领域，而且我已经很久没有看到它被使用了，但它的全部意义在于减少 IT 支持人员在出现问题时收到的警报数量。