如何解决Python joblib执行,用于并行处理大型数据和导入大型模块
问题是如何仅导入numpy一次。因为在下面的场景中,为每个并行作业导入了numpy。
我们能否以某种方式仅导入一次并在所有并行作业中使用
import numpy,multiprocessing
from joblib import Parallel,delayed
import test_module
total_target=20
for i in range(total_target):
cores_availible = min(multiprocessing.cpu_count(),60)
jobs = min(cores_availible,20))
Parallel(n_jobs=jobs,verbose=5)(delayed(test_module.test)() for i in
range(total_target))
test_module
---------------------
import numpy
#Work on some numpy functions without any common data
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。