摘要

本文提出了一种端到端的特征融合注意网络(FFA-Net)来直接恢复无雾图像。FFA-Net架构由三个关键组件组成:

1)新颖的特征注意(FA)模块将通道注意与像素注意机制相结合，考虑到不同的通道式特征包含完全不同的加权信息，并且雾度分布在不同的图像像素上是不均匀的。FA不平等地对待不同的特征和像素，这在处理不同类型的信息时提供了额外的灵活性，扩展了CNN的表示能力。

2)基本块结构由局部残差学习和特征注意力组成，局部残差学习允许通过多个局部残差连接绕过较不重要的信息，如薄雾霾区域或低频，让主网络架构专注于更有效的信息。

3)基于注意力的不同层次特征融合(FFA)结构，特征权重自适应地从特征注意力(FA)模块学习，给予重要特征更多的权重。这种结构还可以保留浅层的信息，并传递到深层。

特征融合注意力网络

如图2所示，FFA-Net的输入是一个模糊图像，它被传递到一个浅层特征提取部分，然后被馈送到具有多个跳跃连接的N个群结构，N个群结构的输出特征通过我们提出的特征注意力模块融合在一起，之后，这些特征将最终被传递到重构部分和全局剩余学习结构，从而得到一个无模糊的输出。

此外，每个分组结构都结合了B基本块结构和局部残差学习，每个基本块都结合了跳跃连接和特征注意模块。FA是由通道注意和像素注意组成的注意机制结构。

大多数图像去雾网络平等地对待通道级和像素级特征，不能合理地处理具有不均匀去雾分布和通道级的特征。我们的特征注意(见图3)由通道注意和像素注意组成，这可以在处理不同类型的信息时提供额外的灵活性。

FA区别对待不同的特征和像素区域，这为处理不同类型的信息提供了额外的灵活性，扩展了CNN的表征能力。关键的步骤是如何为每个通道方式和像素方式的特征生成不同的权重。我们的解决方案如下

我们的通道注意力主要关注不同的通道特征在DCP方面具有完全不同的加权信息首先，通过使用全局平均池，我们将基于通道的全局空间信息引入通道描述符中。

其中Xc(i，j)代表第c个通道Xc在位置(I，j)，Hp是全局池函数。特征图的形状从C×H×W到C×1×1变化。为了获得不同通道的权重，特征通过两个卷积层和sigmoid，RELU激活函数

其中σ是sigmoid函数，δ是ReLu函数

最后，我们将输入Fc和通道道的权重CAc按元素相乘

考虑到雾霾在不同图像像素上的分布不均匀，我们提出了一个像素注意力(PA)模型，使网络更多地关注信息特征，如雾霾较重的像素和高频图像区域

类似于CA，我们使用ReLu和sigmoid激活函数直接将输入因子(CA的输出)馈入两个卷积层。形状从c×h×w变为1×H×W

最后，我们对输入 $F^{*}$ 和PA使用逐元素乘法， $\widetilde{F}$ 是特征注意(FA)模块的输出

如图6所示，基本块结构由局部残差学习和特征注意(FA)模块组成，局部残差学习允许通过多个局部残差连接绕过较不重要的信息，如薄雾霾或低频区域，主网络聚焦于有效信息。

我们的组架构结合了B基本块结构和跳跃连接模块。连续的B块增加了FFA网的深度和表现力。和跳跃连接使得FFA-Net避开了训练困难。在FFA-Net的末尾，我们使用两层卷积网络实现和一个长捷径全局残差学习模块添加了一个恢复部分。最后，我们恢复我们想要的无雾图像

首先我们在信道方向上连接G组架构输出的所有特征映射。此外，我们通过乘以由特征注意机制获得的自适应学习权值来融合特征。由此，我们可以保留低层信息并将其传递到深层，由于权重机制，我们让FFA-Net更加关注厚霾区域、高频纹理和颜色保真度等有效信息

其中θ表示FFA-Net的参数， $I_{gt}$ 代表地面实况， $I_{haze}$ 代表输入。