如何解决Airflow DAG 任务等待大下载完成
刚接触 Airflow。构建第一个 DAG,它执行一些日期检查,然后继续下载大型 Kaggle 数据集(7GB zip)。 Airflow 在亚秒内完成这一步,然后完成 DAG。想知道对 Kaggle API 的调用是否不起作用,或者我是否不知道 DAG 任务的任何异步默认行为。
感谢任何指点/确认,谢谢!
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。