如何解决多处理池产生太多线程
如果我运行以下python代码
def dummy(t):
A = np.random.rand(10000,10000)
inv = np.linalg.inv(A)
return np.linalg.norm(inv)
if __name__ == "__main__":
with multiprocessing.Pool(2) as pool:
print(pool.map(dummy,range(20)))
产生了超过指定的2个进程,或者至少看起来是这样。更具体地说,当我使用htop
监视系统时,它将所有线程显示为繁忙,即100%CPU使用率。
我希望只有2个线程能显示100%的使用率,但也许这个假设是错误的。
奇怪的是,如果矩阵大小增加(增加10倍),则只有2个指定的线程处于繁忙状态。
使用的python版本:3.6.9 / 3.8.5。 机器:具有40个内核的skylake服务器。
解决方法
正如@Booboo的注释所暗示的那样,该示例包含未考虑的其他并行性。 numpy.linalg.inv
调用很可能在后台使用某种多线程。因此,仅与Pool
构造函数中指定的进程数一样多的硬件线程的假设是无效的。如果附加并行性的来源已知并且可以被禁用,则可以实现预期的行为。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。