如何解决Ray 没有将远程功能分发到本地机器上的所有节点
我试图通过文件的路径将文件列表分发到远程 Ray 函数,该函数读取文件,然后调用自定义库中的其他函数以在文件上执行。但是,当我检查 Ray UI 中的进度时,仅使用了 8 个节点中的 2 个,并且处理时间与进行处理的节点数少于 8 个一致。我对 Ray 很陌生,因此无法理解正在发生的事情。下面是一个例子:
import ray
import custom_lib
import glob
ray.init()
@ray.remote
def remote_func(path):
with open(path) as file:
s = file.read()
custom_data = custom_lib.custom_func(s)
return custom_data
paths = glob.glob('/location/of/text/files/'+'//*.txt')
data = ray.get([remote_func.remote(p) for p in paths])
我使用的是 python 3.8 和 ray 1.2。提前致谢!
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。