如何解决python的用于保存多个文件的多重处理
我目前有一个要转换为numpy数组(如.npy)的视频目录。为了加快视频的转换速度,我一直在使用python的多处理库。
特别是我所拥有的伪代码是
import multiprocessing as mp
for path,subdir,files in os.walk('path/to/videos'):
pool = mp.Pool(num_cpus)
for i,file in enumerate(files):
pool.apply_async(read_and_write_file_to_numpy_func,args=(i,'path/to/new_numpy_file'),call_back=call_back
pool.close()
pool.join()
由于应用的异步方法实际上未返回任何内容,因此call_back函数不返回任何内容。
即使我运行htop时,这也出乎意料地缓慢,
关于我在这里可能会丢失的任何想法吗?
感谢您的帮助。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。