如何解决Python Luigi:处理缺失依赖项的有效方法
此刻,我正在使用Luigi库来创建数据管道。在我的管道的最后,我有一个Plot函数,它看起来像这样:
class PlotAll(luigi.Task):
...
def requires(self):
return{
"tool1" : analyzeTool1Data(...),"tool2" : analyzeTool2Sata(...)}
def run(self):
data1 = numpy.load(self.input()["tool1"])
data2 = numpy.load(self.input()["tool2"])
plot(data1,data2)
...
因此,现在有时我只有工具1的数据或只有工具2的数据。比我只想从一个工具绘制数据。是否有一种优雅的方式告诉函数,如果缺少一个依赖项,则应忽略该输入并与其余输入一起使用?
到目前为止,我的想法是,首先检查其中存在哪些数据,然后创建与之相关的依赖项。
解决方法
luigi的整个思想是确保在运行任务之前已准备好所有依赖项。
它没有可选依赖项的概念,但是您可以使用dynamic dependencies
另一种选择可能是定义任务analyzeTool1Data
的方式,即使任务失败或数据丢失,它仍然会生成输出,因此luigi仍然认为它们已经运行。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。