如何解决气流回填DAG处于阻塞状态灰色,第一个任务无法运行
我曾尝试在stackoverflow上查看与此问题类似的答案,但是我的情况略有不同。
我正在通过Airflow CLI执行回填作业,回填的dag运行卡在运行状态,而在dag中的第一个任务处于排队(灰色)状态。
调度程序似乎从未启动过第一个任务。
我没有将depends_on_past=True
设置为dag_defaults
dag_defaults = {
"start_date": datetime.today() - timedelta(days=2),"on_failure_callback": on_failure_callback,"provide_context": True
}
我被迫手动运行每个任务。 :(而不是让调度程序自动完成并自动运行。
注意:我正在通过K8S集群上的Airflow worker容器执行回填cli命令。
使用backfill cli命令是否还有其他人遇到类似的问题?
更新: 我意识到回填次数超出了总停顿间隔。也就是说,在
start_date
前引起调度计划的阻塞。
虽然您仍然可以创建运行,但它不会自动运行,但是您可以手动运行每个任务。
要解决此问题,需要将start_date
更改为我最早的回填日期之前或之内。
如果有一种方法可以覆盖回填cmd或提供--force选项,该方法可以模拟特定的dag_run的开始日期,而不是绑定到总间隔,那将是很好的选择。
解决方法
更新:我意识到我的回填次数超出了总投放量 间隔。即在dag start_date导致阻塞计划之前 依赖。
虽然您仍然可以创建运行,但它不会自动运行,但是您可以手动运行每个任务。
要解决此问题,需要将start_date
更改为我最早的回填日期之前或之内。
如果有一种方法可以覆盖回填cmd或提供--force选项,该方法可以模拟特定的dag_run的开始日期,而不是绑定到总间隔,那将是很好的选择。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。