如何解决luigi 任务具有冲突的 pip 依赖项
我有一个 luigi 管道,其中一些 luigi.Task
具有冲突的 pip 依赖项。这会导致问题,因为这些任务是同一管道的一部分(即一个任务需要另一个)。我不想创建单独的管道,因为我将无法再检查调度程序中的完整管道。在这种情况下,最佳做法是什么?
示例:您有两个 python 包,每个包都定义了一个 luigi.Task
。
但是,packageA
需要与 packageB
不同版本的库:
packageA/task1.py
需要 mypackage==1.0.0
packageB/task2.py
需要 mypackage==0.9.0
假设管道是:
task1 -> task2 -> wrappertask
这是一个问题,因为在 task2
我必须导入 task1
才能定义 requires
方法:
# packageB/task2.py,needs mypackage==0.9.0
from task1 import Task1 # cannot do this as I would need mypackage==1.0.0
class Task2(luigi.Task):
id = luigi.Parameter()
def requires(self):
task1.Task1(id=id)
...
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。