如何解决从Airflow调用Cloud Build的设计建议,以执行需要args的python函数
我正在寻找一些设计建议以及所有使用Cloud Build执行带有args的python函数的示例。
我有一个在GCP上使用Airflow的数据管道。某些文件需要先清理,然后再加载到BigQuery中。我有一个Python函数可以完成这项工作。 我想在Cloud Build映像上运行该功能,并从我的管道传递功能args。
到目前为止,我有一个Cloud Build触发器,可以安装并运行一个没有args的简单Python函数。
从我的研究中,我找到了两个选择,即cloudbuild_v1库和一个Cloud Build Airflow操作员。
我想建议我应该使用哪个选项,或者是否应该考虑其他选项以及可以使用的任何示例。
谢谢。
解决方法
您不仅应该使用其中一种正确或最佳选择。实际上,这实际上取决于您的应用程序,您的首选项和要求等。我想请您更深入地了解它们,并确定哪种更适合您。如果我要说其中之一,我会说Cloud Build Airflow,因为它具有更多可用于学习和搜索的内容。
关于示例,您可以在cloudbuild_v1
库中检查它们here,在Cloud Build Airflow中检查它们here或here。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。