Pytorch 中的标准化是如何运作的？

如何解决Pytorch 中的标准化是如何运作的？

这一定是一个非常基本的问题，但即使在尝试了一些东西之后我还是不明白如何 Pytorch 中的规范化有效。

我想将大小为 x 的张量 (2,2,3) 中所有列的均值设置为 0，将标准差设置为 1。 一个简单的例子：

norm = transforms.Normalize((0,0),(1,1))
x = torch.tensor([[[1.0,3],[4,5,6]],[[7,8,9],[10,11,12]]])
out = norm(x)
print(x)
print(out)

给予

tensor([[[ 1.,2.,3.],[ 4.,5.,6.]],[[ 7.,8.,9.],[10.,11.,12.]]])

tensor([[[ 1.,12.]]])

所以标准化没有任何改变。为什么？

解决方法

实际回答您的问题。您现在已经意识到 torchvision.transforms.Normalize 不像您预期​​的那样工作。那是因为它不是要标准化（使您的数据范围在 [0,1] 中）也不是标准化（使您的数据的 mean=0 和 std=1 ，这就是您要查找的内容）您的数据。执行的只是一个移位缩放操作：

output[channel] = (input[channel] - mean[channel]) / std[channel]

given mean 和 std，将其称为 Normalize 感觉违反直觉......所以很自然 {{ 1}} 给出了 (input - 0) / 1，这根本没有帮助。

但是，如果您提供 output = input 和 mean=mean(data) 作为参数，那么您最终会逐个计算数据通道的 z-score，这通常称为 “标准化”。因此，为了实际获得 std=std(data) 和 mean=0，您首先需要计算数据的均值和标准差。

如果你这样做：

std=1

它将分别为您提供全球平均值和全球标准。

相反，您想要测量每个通道。所以我们希望 >>> mean,std = x.mean(),x.std() (tensor(6.5000),tensor(3.6056)) 和 .mean() 在所有维度上期望 .std()。为此，我们可以对 dim=1 和 dim=0 进行置换，将所有轴预期为 dim=1（现在是置换后的通道轴）并调用 dim=0 和 .mean(dim=1)， 即沿扁平尺寸。

.std(dim=1)

以上是沿每个通道测量的 >>> flattened = x.permute(1,2).flatten(start_dim=1) >>> mean,std = flattened.mean(dim=1),flattened.std(dim=1) (tensor([5.,8.]),tensor([3.4059,3.4059])) 的正确平均值和标准偏差。从那里你可以继续使用 x - 现在正确 - 标准化 torchvision.transforms.Normalize(mean,std) 或任何其他具有相同缩放比例的张量。

x

,

按照 documentation of torchvision.transforms.Normalize 上的说明进行操作：

使用均值和标准差对张量图像进行标准化。给定的意思： (mean[1],...,mean[n]) 和 std: (std[1],..,std[n]) 对于 n 个通道，这个 变换将标准化输入火炬的每个通道。 *张量即， 输出[通道] = (输入[通道] - 平均值[通道])/标准[通道]

因此，如果您有 mead=0 和 std=1，那么 output=(output - 0) / 1 不会改变。

以上解释的例子：

from torchvision import transforms
import torch

norm = transforms.Normalize((0,0),(1,2))
x = torch.tensor([[[1.0,2,3],[4,5,6]],[[7,8,9],[10,11,12]]])
out = norm(x)
print(x)
print(out)

输出：

tensor([[[ 1.,2.,3.],[ 4.,5.,6.]],[[ 7.,8.,9.],[10.,11.,12.]]])
tensor([[[1.0000,2.0000,3.0000],[4.0000,5.0000,6.0000]],[[3.5000,4.0000,4.5000],[5.0000,5.5000,6.0000]]])

如您所见，第一个通道没有变化，第二个通道被除以 2.