如何解决中央电子邮件通知气流
我们正在AWS环境中使用apache气流来调度作业。 Airflow在任务级别提供故障通知。但是,我想在气流水平上配置通知。因此,即使dag没有配置任何通知,如果任何DAG失败,某些组也会收到通知。
我正在为此关注。
- 将日志重定向到s3
- 监听新日志文件的AWS Lambda
- 解析日志文件,如果包含错误,则发送通知
问题是。 如果安装了aws lambda,则一旦创建文件,它将触发lambda,并且可能没有完整的日志文件。
否则,我想将日志推送到cloudwatch并从中发出警报。
不确定如何实现。我也没有从AWS工程师那里获得信息。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。