GPU支持TensorFlow和PyTorch

如何解决GPU支持TensorFlow和PyTorch

好的，所以我现在从事大量的深度学习项目和实习，而我从来不需要做大量的培训。但是最近我一直在考虑做一些转移学习，为此我需要在GPU上运行我的代码。现在，我有一个带有Windows 10和专用NVIDIA GeForce 940M GPU的系统。我一直在做很多在线研究，但我仍然有些困惑。我尚未在系统上安装NVIDIA Cuda Toolkit或cuDNN或tensorflow-gpu。我目前使用tensorflow和pytorch训练我的DL模型。这是我的查询-

1. 当我在tf或pytorch中定义张量时，默认情况下它是cpu张量。因此，到目前为止，我一直在进行的所有培训都在CPU上进行。因此，如果我确保安装正确版本的Cuda和cuDNN和tensorflow-gpu（专门用于tensorflow），则可以使用tf-gpu和pytorch在我的GPU上运行我的模型，就是这样吗？ （我知道pytorch中的torch.cuda.is_available（）以确保pytorch可以访问我的GPU和tf中的device_lib模块来检查我的gpu是否对tensorflow可见）（我也知道tf不支持所有Nvidia GPU）

2. 为什么tf有单独的模块支持GPU？ PyTorch似乎没有它，您所需要做的就是将张量从cpu（）转换为cuda（）在它们之间切换。

3. 为什么要安装cuDNN？我知道这是为支持在GPU上训练深度神经网络而构建的高级API CUDA。但是，在使用gpu进行训练时，tf-gpu和火炬会在后端使用它们吗？

4. 在tf == 1.15之后，他们是否将CPU和GPU支持全部合并到一个软件包中？

解决方法

不幸的是，首先940M是一种用于训练的弱GPU。我建议您使用Google colab进行更快的培训，但是当然，它会比CPU快。因此，这里是我对您四个问题的回答。

1-）是，如果正确安装要求，则可以在GPU上运行。您也可以将数据手动放置到GPU中。您可以在TensorFlow上检查实现。在PyTorch中，您应该指定要使用的设备。如您所说，应该device = torch.device("cuda" if args.cuda else "cpu")，然后对于模型和数据，应始终调用.to(device)，它将自动使用GPU（如果有）。

2-）PyTorch还需要额外的安装（模块）以支持GPU。但是，随着最近的更新，TF和PyTorch都易于用于GPU兼容代码。

3-）Tensorflow和PyTorch都基于cuDNN。您可以在没有cuDNN的情况下使用它们，但据我所知，这会影响性能，但是我不确定这个主题。

4-）不，它们仍然是不同的包装。 tensorflow-gpu==1.15 and tensorflow==1.15他们对tf2所做的工作是使张量流更像Keras。因此比1.15或更早版本更简化。

,

Rest已通过以下方式得到回答：3）cudNN优化了层，并且在硬件级别进行了此类操作，而这些实现纯属不可思议。编写难以正确利用您的GPU的CUDA代码非常困难（如何将数据加载到GPU中，如何使用矩阵实际执行数据等）