如何解决Airflow DAG计划每分钟运行一次,有时不运行
我们计划将某些DAG在给定小时的前5分钟内每分钟运行一次。例如,DAG可能在以下位置运行:
20:01
20:02
20:03
20:04
20:05
在大多数情况下,此方法运行良好,但有时会丢失整个DAG运行。例如,DAG可能在以下位置运行:
20:01
20:03
20:04
20:05
我们已打开了详细的日志记录,但在20:02的Scheduler日志中没有看到任何东西,这显然可以解释DAG从未运行的原因。我也看不到其他问题指出的DAG解析时间延长是潜在的罪魁祸首:
Number of DAGs: 177
Total task number: 259
DagBag parsing time: 7.171621999999997
数据库资源利用率极低,有时也被称为罪魁祸首。 如果有人对如何解决此问题或可能导致DAG不在给定的1分钟间隔内运行但在接下来的1分钟间隔内运行良好的假设有任何想法,请告诉我。或者,如果您对在计划程序从未计划DAG时希望在计划程序日志中看到的内容有所建议,那将很有帮助。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。