如何解决Airflow 1.10.9未将日志写入S3
这里有没有人将气流日志发送到S3
?
我正在运行气流版本1.10.9
,并且试图将日志发送到S3
。我遵循了here上的官方文档说明,但它们似乎根本没有用。
我也尝试过重新启动Airflow Scheduler和Web服务器。
如果有人做到了,他们能告诉我他们是怎么做到的吗?
我为S3创建的连接:
Conn Id: S3Connection
Conn Type: S3
Schema: {"aws_access_key_id":"some-key","aws_secret_access_key": "some-key"}
>All other fields were left blank.
我的airflow.cfg
具有此功能:
remote_logging = True
remote_log_conn_id = S3Connection
remote_base_log_folder = s3://log-bucket/qa
encrypt_s3_logs = False
>Note that only log-bucket exists right now,the key I assume should be automatically created when something is uploaded there.
我也尝试过this answer和this answer,但这对我也不起作用。
解决方法
一个潜在的问题是,您输入到Schema中的连接详细信息的json表示实际上可能是用于Connection字段/表单上的Extra字段的。
尝试相应地更新您的连接。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。