如何解决光线多处理中的存储空间不足?
我正在尝试使用 ray 包来加速模拟任务的代码。下面是代码的基本框架:
split_coverage = 3
sequencer = AltSequencerPaired.remote(working_dir,clone_genomes,r,read_length,p_error,n_samples,int(coverage/split_coverage),compression_level,frag_length)
sequencer2 = AltPairedSS.remote(working_dir,frag_length)
list_of_funcs = []
for i in range(split_coverage):
a = sequencer.getSequences.remote()
a2 = sequencer2.getSequences.remote(num_single_cells,root_node)
a3 = sequencer2.getSequences.remote(1,root_node,normal_read = True)
list_of_funcs.append(a)
list_of_funcs.append(a2)
list_of_funcs.append(a3)
all_out = ray.get(list_of_funcs)
print('single regular reads done')
print('single single cells reads done')
print('single reference reads done')
每个函数都需要一个基因组(大小约为 3GB),并基本上将其切碎成小块,一遍又一遍地创建一系列大文件。我已经使用 ray 对其进行了并行化,并且它在基因组的较小子集中运行良好,但现在我在加载基因组时遇到了问题。当 ray 进程正在运行时,我在终端中收到此消息:
[libprotobuf ERRORexternal/com_google_protobuf/src/google/protobuf/message_lite.cc:410] ray.rpc.GetCoreWorkerStatsReply 超过了 2GB 的最大 protobuf 大小:3088270424
除了减少函数输入的大小之外,还有什么解决方法吗?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。