如何解决为什么ResNet模型具有连续的BatchNormalization层?
我正在研究ResNet架构,发现ResNet模型在一定间隔后往往具有成对的连续BatchNorm层。我看不到这样做的任何特殊原因,因为:-
- BN层会规范化层激活,然后使用参数 beta 和 gamma 缩放它们。
- 第一BN层执行此操作;它将传入的激活归一化,然后将其缩放为均值( beta )和标准差(gamma)。然后,第二个BN再次规范化第一个BN的输出(因此,还原第一个BN层所做的任何缩放),并再次将其移动到不同的均值并使用其新值 beta 和伽玛?
在随附的图片中,仅显示了一对这样的BN层( conv2_block1_0_bn 和 conv2_block1_3_bn ),但是在网络深处有多对。{{3 }}
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。