如何解决为什么运行PyTorch模型[具有足够的GPU内存]时,内存不足?
我之所以问这个问题,是因为我成功地在配备8GB VRAM的笔记本电脑上的GTX 2070上训练了分段网络,并且在台式机上使用了与完全相同的代码和完全相同的软件库使用GTX 1080TI时,它仍然会耗尽内存。
为什么会这样,考虑到:
-
笔记本电脑和PC上都使用相同的Windows 10 + CUDA 10.1 + CUDNN 7.6.5.32 + Nvidia驱动程序418.96(与CUDA 10.1一起提供)。
-
使用TensorFlow 2.3进行训练的事实在PC上的GPU上运行顺利,但是仅使用PyTorch进行训练却无法分配内存。
-
PyTorch通过以下命令识别GPU(打印GTX 1080 TI):
print(torch.cuda.get_device_name(0))
-
PyTorch在运行以下命令时分配内存:
torch.rand(20000,20000).cuda()
#allocated 1.5GB of VRAM.
对此有什么解决方案?
解决方法
大多数人(即使在下面的线程中)也跳起来,建议减小batch_size将解决此问题。实际上,在这种情况下并非如此。例如,考虑到在使用11GB VRAM的系统上没有其他应用程序在消耗视频内存,并且安装了完全相同的配置,网络在8GB VRAM上进行训练而在11GB VRAM上进行训练却不可行。使用。
在我的情况下发生这种情况的原因是,当使用DataLoader
对象时,我为workers
参数设置了很高的(12)值。在我的情况下,将此值减小为4即可解决问题。
实际上,尽管在线程的底部,但尤拉西克在https://github.com/pytorch/pytorch/issues/16417#issuecomment-599137646处提供的答案将我引向了正确的方向。
解决方案:减少PyTorch workers
中DataLoader
的数量。尽管我不完全了解为什么该解决方案有效,但我认为它与在后台获取数据以获取数据的线程有关。在某些处理器上可能会出现这种错误。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。