首发：AIWalker
作者：HappyAIWalker
标题&作者团队
本文是浙江大学于2019提出的一种基于小波的图像超分方案，算是比较“老”的一种方案了。不过考虑到它的创新：将小波变换与深度学习相结合，本文还是值得略读一番。不同于其他深度学习图像超分方案，本文采用小波变换提取图像的四组系数并作为网络的输入，预测残差图像的小波系数。这不同于常规方案的直接进行图像复原或者残差图像复原，小波系数的预测使得其具有更好的鲁棒性。
Abstract
现有的基于深度学习的图像超分往往采用更深、更宽的架构提升重建图像质量，这就导致了更大的计算量、更慢的推理速度。尽管也有研究员设计轻量型网络用语图像超分，但往往造成性能损失。
本文提出一种基于小波的残差注意力网络(wavelet-based residual attention network, WRAN)用于图像超分。具体来说，该网络的输入与标签是由2D小波变换生成的四组系数，通过显式地将图像拆分为高低频四个通道有助于降低训练难度。与此同时，我们提出多核卷积构建基础模块，它可以自适应集成不同感受野的特征；此外，我们还采用了残差注意力模块，它包含通道注意力与空域注意力机制。因此所提方案能够以更轻量方式从通道与空域维度聚焦于潜在纹理。
本文通过充分的实验表明：所提WRAN具有计算高效性，同时取得了SOTA超分性能。本文的主要贡献包含以下几点：
- 我们采用2D小波变换生成的四组系数作为输入，因此低频内容与高频细节可以在训练之前进行显式分离。这种处理方式有助于缓解训练难度且不会造成信息损失。
- 我们采用多核卷积构建基础模块，它可以字使用进行不同感受野特征汇聚与集成；
- 我们对残差注意力模块进行了探索并用于自适应特征提炼。
Method
Wavelet Transform
wavelet
上图给出了小波变换的示意图，小波变换会将输入图像变换为四组系数。本文采用Harr小波进行变换。
visual
上图给出了2D小波变换示意图，输入X将被分解为四个子带系数，它们分别对应低频、垂直、水平以及对角信息，每个子带的分辨率为输入的一半。此外需要注意的是：小波变换及其逆变换均可逆，不会造成信息损失。
Network Structure
framework
Multi-kernel Convolutional layer
上图为多核卷积结构，它受启发于Inception得到，它包含四个分支，每个分支具有不同的感受野：，每个卷积后接LeakyReLU激活函数。完成不同尺度特征提取后我们对其进行拼接并进行维度压缩。
Channel attention layer
layer-attention
上图为通道注意力模块，它与常规SE模块存在一些不同之处。SE采用全局均值池化提取平均特征，而这里不仅采用全局均支池化，同时还采用最大值池化。整个计算过程还是比较简单的，所以就先略过了。
Spatial attention
spatial-attention
Experiments
为验证所提方案的有效性，我们采用DIV2K数据进行模型训练，测试数据为Set5、Set14、B100以及Urban100。评价准则采用了最常用的PSNR与SSIM。
parameter
上图对比了模块数、通道数对于模型性能的影响对比。可以看到：
- 提升模块数据可以显著提升模型的性能，当L>8时模型基本达到饱和；
- 提升通道数量，模型的性能同样逐渐提升，但同时也导致更大的计算量、更多的参数量。为平衡模型大小与性能，我们默认通道数为64.
上图对比了激活函数的参数与通道注意力模块中的下降因子r的性能影响对比。可以看到：
- 当参数时，模型取得了最佳性能；
- 当参数时，模型取得了最佳性能。
上表对比了本文所提三个不同模块组合时的性能对比，很明显：
- 注意力额外引入的参数量可以忽略不计；
- 通道注意力与空域注意力均有助于提升模型性能；
- 卷积+通道注意力+空域注意力的组合取得最佳模型性能。
上表对比了不同结构模块组合时的性能对比，可以看到：
- A+H+V+D的组合取得最佳性能；
- 多核卷积取得了最佳性能；
max+avg的注意力组合取得了最佳性能。
上表对比了所提方法与其他超分方案的性能对比，可以看到：RCAN与WRAN取得了最佳的性能；在小尺度超分任务上WRAN性能更佳；在大尺度超分上RCAN性能更佳。此外，附上X4超分任务下不同方案的视觉效果对比图。
推荐阅读
- 实时4K“image-to-image translation”，提出拉普拉斯金字塔变换网络
- RealSR性能大幅提升，旷视科技+快手科技+电子科大联合提出“先发散再收敛”的D2CSR
- Attention in Attention for Super-Resolution
本文章著作权归作者所有，任何形式的转载都请注明出处。更多动态滤波，图像质量，超分辨相关请关注我的专栏深度学习从入门到精通。
