使用 Linux env 的 Window docker 中的气流“调度程序似乎没有运行..”

如何解决使用 Linux env 的 Window docker 中的气流“调度程序似乎没有运行..”

我在 OS 窗口服务器 2019 上运行带有 Linux 容器的 docker desktop 3.3.1。

Airflow 使用 docker-compose 文件作为提及 here 在 docker 桌面上启动，并且运行成功。但是一段时间后在这个气流上启动 dag 时，我在气流网络服务器上收到以下消息：

“调度程序似乎没有运行。最后一次心跳是 X 分钟前收到的。 DAG 列表可能不会更新，也不会安排新任务。”

有一段时间气流网络服务器容器退出，代码为 137，气流网络服务器控制台收到错误“关键工作超时”

问候

解决方法

在我的情况下，这是由于 DAG 参数中的配置错误，请尝试测试以下配置并删除之前的所有 dag

from airflow.hooks.base_hook import BaseHook
import os
from datetime import datetime,timedelta

from airflow import DAG

from airflow.operators.bash_operator import BashOperator  
_dag_name = os.path.basename(__file__).replace('.py','')
   
default_args = {
    "depends_on_past": False,"start_date": datetime(2021,4,15),'retries': 3,'retry_delay': timedelta(minutes=5),'on_failure_callback': task_fail_slack_alert,'on_success_callback': task_success_slack_alert,'is_paused_upon_creation': False,}

with DAG(
    dag_id=_dag_name,default_args=default_args,description='Print  ',catchup=False,schedule_interval=None,) as dag:

    bo1 = BashOperator(
        run_as_user='airflow',task_id='pip-list-ls-lh',# bash_command='ls -lh'
        bash_command="""python3 -m pip list  """
    )
 

    bo1