如何解决如何运行测试中定义的Airflow DAG?
我正在尝试编写一个测试用例,其中:
- 实例化(Python)运算符的集合(使用
unittest.mock.patch
修补其某些依赖项) - 在DAG中安排这些运算符
- 运行该DAG
- 断言对各种模拟下游的调用
我从here看到,运行DAG并不像调用dag.run
那样简单-我应该实例化一个local_client
并在其上调用trigger_dag
。但是,结果代码为constructs its own DagBag,并且不接受任何允许我传递手动构造的DAG的参数-因此,我看不到如何使用local_client
运行此DAG。
我在这里看到几个选择:
- 我可以在
DagModel.get_current(dag_id).fileloc
指定的单独文件夹中声明测试DAG,以便我的DAG被trigger_dag
拾取并运行-但这似乎是间接的,而且我怀疑我是否能够从测试代码中干净地引用注入的模拟。 - 我可以直接调用
api.common.experimental.trigger_dag._trigger_dag
,它有一个dag_bag
参数。名称中的experimental
和带下划线前缀的方法名称都表明这将是一个坏主意。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。