如何解决气流/作曲家 - 信息日志被发送到标准错误? - 导致日志显示为错误
我有作曲家环境,它似乎将他们的日志发送到错误位置 - 导致堆栈驱动程序将成千上万的条目显示为错误。 .当我查看错误时,它们似乎是标准日志条目,没有失败错误等。
在哪里可以更改日志记录位置或检查 Composer 环境的日志记录位置?
解决方法
Airflow logs 保存在与您的 Cloud Composer 环境一起创建的存储桶中。日志按 DAG 和每次执行分开,因此假设您运行 DAG 两次,您将有 2 个日志文件。这些日志包含 DAG 中的错误(如果有错误)。您存储桶中的文件夹结构如下所示:
gs://your-cloud-composer-bucket/logs/DAG1/*
gs://your-cloud-composer-bucket/logs/DAG2/*
gs://your-cloud-composer-bucket/logs/DAG3/*
....
Airflow 日志的存储桶位置无法更改,因为这是在创建 Composer 环境时自动生成的。
存储在bucket中的日志仅限于Airflow日志。 audit logs 之类的环境创建、删除和更新仅在堆栈驱动程序日志记录中找到。是否要创建接收器来存储审核日志取决于您。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。