如何解决为 Airflow 云部署组织代码存储库
对于生产 Airflow Kubernetes 部署,推荐的代码存储库是什么? DAG 定义和 DAG 业务逻辑是否应该拆分为单独的存储库?
我猜最好的做法是将 DAG 配置、DAG 业务逻辑/依赖项和 Airflow 容器分开。因此,我的设想如下:
- 包含 Airflow Docker 映像的存储库
- 包含 Airflow DAG 定义的存储库
- 包含 Airflow DAG 任务(业务逻辑)的存储库
在此设置中,Airflow DAG 将通过 git 同步到 pod 或通过 PVC 访问。该工作流中每个任务的实际业务逻辑将位于包含 Dockerfile 的单独存储库中。该存储库将作为工作 Pod 上的侧车容器启动,然后各个 DAG 任务将对其进行入口点/可执行调用。
我很好奇其他开发人员如何构建他们的存储库以非常适合在云上部署 Airflow。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。