PyTorch如何实现向后卷积？

如何解决PyTorch如何实现向后卷积？

我读到了Pytorch的源代码，发现它没有实现convolution_backward函数，这很奇怪，唯一的convolution_backward_overrideable函数直接引发了错误，应该不会在这里出现。

因此，我提到了CuDNN / MKLDNN实现，它们都实现了cudnn_convolution_backward之类的功能。

我有以下问题：

1. CUDA / CPU的本机实现是什么？我可以找到类似thnn_conv2d_backward_out的东西，但找不到该文件的名称。

2. 为什么PyTorch没有将convolution_backward函数放在Convolution.cpp中？它提供了_convolution_double_backward()函数。但这是向后的两倍，它是渐变的梯度。他们为什么不提供单个后退功能？

3. 如果要为纯cpu / cuda张量调用本机convolution / convolution_backward函数，应该如何编写代码？或者我在哪里可以参考？我找不到这个例子。

谢谢！

解决方法

1-实现可能会有所不同，具体取决于您使用的后端，它可能会使用某些库中的CUDA卷积实现，其他库中的CPU卷积实现或自定义实现，请参见此处：pytorch - Where is “conv1d” implemented?。

2-我不确定当前版本，但是通过autograd计算了单个向后，这就是为什么没有明显不同的功能的原因。我不了解autograd的基本细节，但是您可以检查https://github.com/pytorch/pytorch/blob/master/torch/csrc/autograd/autograd.cpp。只有需要更高阶导数时，该double_backward函数才可用。

3-如果要在C语言中执行此操作，则链接的文件（convolution.cpp）向您显示如何执行此操作（功能在:: Tensor _convolution ...）。如果您检查该函数，则会看到它只是检查要使用的实现（params.use_something ...）并使用它。如果要在python中执行此操作，则应从conv开始跟踪，直到调用该文件convolution.cpp。

,

我在@unlut的帖子中发现了一些补充内容。

1. 卷积方法位于不同的文件中，以实现不同的实现。您可能会很容易找到cudnn_convoluton_backward或mkldnn_convolution_backward。一件棘手的事情是，最终的本机下降功能很难找到。这是因为当前Pytorch团队正在将Thnn功能移植到ATen，您可以参考PR24507。

本机函数可以找到为thnn_con2d_backward。

1. 向后卷积不是通过autograd计算的，而是必须有conv_backward函数，并且必须将其记录在衍生物中。如果要查找特定的向后功能，请参考该文件是一个好的开始。

2. 关于此代码，如果要直接调用thnn_backward函数，则需要显式构造finput和fgrad_input。这是两个空张量提供的缓冲区。

at::Tensor finput = at::empty({0},input.options()); 
at::Tensor fgrad_input = at::empty({0},input.options());
auto kernel_size = weight.sizes().slice(2);
auto &&result = at::thnn_conv2d_backward(grad_output,input,weight,kernel_size,stride,padding,finput,fgrad_input,output_mask);