如何解决气流创建DAG API或函数
是否有可用的API或函数可以按需在气流中创建DAG? DagBag文件夹上有超过一千个DAG,并且调度程序需要花费大量时间进行扫描,因此性能下降。为了控制此行为,我们已经将扫描DagBag文件夹的时间增加到1天,但是创建的每个新DAG都需要重新启动调度程序,我们希望避免这种情况。 请告知。
解决方法
您可能可以执行以下操作:
- 已将dag中的所有核心逻辑移至可调用函数
- 并有一个通用的Dag,它将调用那些拥有核心逻辑的函数并在给定的特定时间执行
您需要将核心功能列表和执行时间保存在某个地方(可以是数据库或可以读取的文件)
在这种情况下,要在气流上方安排一个小的计划,这是多余的,因为气流对您有相同的作用,但是我认为这样做会使您受益。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。