如何解决Python是否使用文件系统在多处理队列中传递数据?
我正在使用Python Multiprocessing在磁盘上存储的非常大的2D数组上并行运行复杂的计算。我通过加载数组的块,将这些块传递到multiprocessing.Queue
,在多进程的工作程序池中对其进行处理,然后将这些结果传递到另一个队列,最后一个工作程序将这些结果写入文件的队列来实现此目的。在磁盘上。
这让我开始思考:Python如何实现在多进程队列中传递数据?我尝试了Googling,但只能找到一般的“如何使用多处理”教程。是否存在某种共享内存对象或使用某种临时文件?如果是后者,那会让我认为我应该重构我的管道,以使工作人员直接读写磁盘-读取,写入临时文件,从临时文件读取等都不会节省任何费用。 / p>
在多处理队列中传递数据时,Python会做任何“聪明”的事情吗?或者它是锁的包装器以及对文件的读/写操作?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。