使用S3连接通过EKS进行Airflow 1.10.6 kubernetes执行程序，任务通过测试但dag运行失败

如何解决使用S3连接通过EKS进行Airflow 1.10.6 kubernetes执行程序，任务通过测试但dag运行失败

我尝试过： -从value.yaml配置s3连接：

连接：
- id：aws_default
  类型：aws
  登录名：xxxaws_access_key_idxxx
  密码：xxxxxxxxxxxxxaws_secret_access_keyxxxxxxxxxxxxxxxxxx
- id：my_s3
  类型：s3
  登录名：xxxaws_access_key_idxxx
  密码：xxxxxxxxxxxxxaws_secret_access_keyxxxxxxxxxxxxxxxxxx

编写使用s3Hook的DAG并将字符串写入s3。
从调度程序窗格运行测试：
/ entrypoint气流测试dag_id task_id date_before_the_start_data_of_DAG
文件已创建且内容正常
@ Airflow UI激活
DAG和RUN已排队并且失败。
有什么建议吗？

顺便说一句DAG ARGS：

args = {
    'owner': 'airflow','start_date': airflow.utils.dates.days_ago(0),'trigger_rule': 'dummy',#'pool': 'my_workers_pool','catchup': False,# dont fill back
}

此外，我为任务添加了5分钟的睡眠时间，这导致DAG失败，并观看了在kubectl上的吊舱创建，但是任务开始了几秒钟，然后消失了。任何想法如何调试此问题？

任务窗格中的日志：

kubectl记录postgressexamplesababaegozimpostgress-7322d44cb2684a09bef95ad3080b9505 -n airflow-research-p-8482f --tail = 200 [2020-08-24 12：04：44,262] {{settings.py:252}}信息-settings.configure_orm（）：使用池设置。 pool_size = 5，max_overflow = 10，pool_recycle = 1800，pid = 1 /usr/local/lib/python3.7/site-packages/psycopg2/init.py:144：用户警告：psycopg2滚轮包将从发行版中重命名 2.8;为了保持二进制安装，请改用“ pip install psycopg2-binary”。有关详细信息，请参见： http://initd.org/psycopg/docs/install.html#binary-install-from-pypi。 “”“）[2020-08-24 12：04：44,833] {{ init .py：51}}信息-使用执行器LocalExecutor [2020-08-24 12：04：44,834] {{dagbag.py:92}}信息

从/usr/local/airflow/dags/postgress_example.py Traceback（最新的）填充DagBag 最后一次调用）：文件“ / usr / local / bin / airflow”，第37行，在 [2020-08-24 12：04：44,841] {{dagbag.py:207}}错误-无法导入： /usr/local/airflow/dags/postgress_example.py Traceback（最新最后调用）：文件 “ /usr/local/lib/python3.7/site-packages/airflow/models/dagbag.py”，第204行，在process_file中 m = imp.load_source（mod_name，filepath）在load_source中的文件“ /usr/local/lib/python3.7/imp.py”，第171行 module = _load（spec）File“”，行696，在_load File“”，行677，在 _load_unlocked File“”，第728行，exec_module File“”，第219行，在_call_with_frames_removed文件中 “ /usr/local/airflow/dags/postgress_example.py”，第33行，在导入boto3 ModuleNotFoundError：没有名为“ boto3”的模块 args.func（args）文件“ /usr/local/lib/python3.7/site-packages/airflow/utils/cli.py”，行 74，在包装纸中返回f（* args，** kwargs）文件“ /usr/local/lib/python3.7/site-packages/airflow/bin/cli.py”，第529行，运行中 dag = get_dag（args）文件“ /usr/local/lib/python3.7/site-packages/airflow/bin/cli.py”，第148行，在get_dag中 'parse。'。format（args.dag_id））airflow.exceptions.AirflowException：找不到dag_id：postgress_example。要么dag没有存在或无法解析。

使用S3连接通过EKS进行Airflow 1.10.6 kubernetes执行程序，任务通过测试但dag运行失败

如何解决使用S3连接通过EKS进行Airflow 1.10.6 kubernetes执行程序，任务通过测试但dag运行失败

相关推荐