如何解决人们通常如何在Dask中管理其任务的依存关系?
我有一个Python脚本,该脚本取决于其他python文件中的功能。人们通常会如何利用Dask处理这种情况?换句话说,如何告诉工作人员这些其他功能的代码在哪里?
通过dask-ssh进行部署,工作人员看不到相同的文件系统
我收到此错误:
[ worker DGX ] : Traceback (most recent call last):
[ worker DGX ] : File "/raid/scratch/kyle/dask_test/venv/lib/python3.6/site-packages/distributed/worker.py",line 2445,in _maybe_deserialize_task
[ worker DGX ] : function,args,kwargs = _deserialize(*self.tasks[key])
[ worker DGX ] : File "/raid/scratch/kyle/dask_test/venv/lib/python3.6/site-packages/distributed/worker.py",line 3279,in _deserialize
[ worker DGX ] : function = loads_function(function)
[ worker DGX ] : File "/raid/scratch/kyle/dask_test/venv/lib/python3.6/site-packages/distributed/worker.py",line 3270,in loads_function
[ worker DGX ] : result = pickle.loads(bytes_object)
[ worker DGX ] : File "/raid/scratch/kyle/dask_test/venv/lib/python3.6/site-packages/distributed/protocol/pickle.py",line 75,in loads
[ worker DGX ] : return pickle.loads(x)
[ worker DGX ] : ModuleNotFoundError: No module named 'util'
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。