GFSNet | 高低频分离超分方案 - 极术社区 - 连接开发者与智能计算生态

该文是福州大学的老师提出的一种用于真实世界图像超分的方案，在NTIRE2020图像超分竞赛中取得了前五的好成绩，该文的思路与其他NTIRE2020竞赛的优胜方案思考角度有一些不同之处，故笔者稍微花了点时间进行总结。文末附文章与code下载链接。

Abstract

真实世界训练数据对往往难以获得，因此在学术界往往采用bicubic下采样方式生成训练数据对，然而这种数据生成方式会噪声图像的特性发生变化(比如artifacts, sensor noise, 以及其他特征)，这也是为何诸多学术界SOTA超分方案在真实世界图像上的效果差强人意的原因。

为了解决前述问题，作者提出一种无监督超分方案，它可以分为两个阶段：(1)无监督域变换；(2)有监督超分。

作者提出采用一种颜色引导的域映射网络缓解域变换过程中的色差问题。提出了一种颜色注意力残差模块作为该网络的基础单元，它模块可以动态的根据输入数据调节参数，因此该网络具有更好的泛化性能。更进一步，作者还修改了超分阶段的判别器以使网络不仅关注高频特征，同时还关注低频特征。最后作者构建了一种边缘损失提升纹理细节。作者所提方案在NTIRE2020超分竞赛中取得了具有竞争力的性能。

Method

正如大家所知道的，基于深度学习的方案可以直接根据LR估计HR，但它需要大量的LR-HR数据对。已有的方案(比如SRCNN、EDSR) 往往采用人工合成的方式制作上述数据对，但是这种人工合成训练数据与真实测试存在很大的差异。下图给出了两者差异，经由双三次插值后的图像的特征出现了明显的差别。

为解决上述问题，作者提出一种无监督真实世界超分方案。它包含两个阶段:(1)无监督SR数据生成阶段；(2)有监督SR阶段。下面从三个角度来介绍一下这篇文章的内容。

Problem formulation

Unsupervised SR Data Generation

为进行域变换，作者采用了GAN的思路。特别的，采用DSGAN对LR图像进行迁移，但其存在色差问题，见下图。如果采用这样的数据对去训练SR模型，会导致SR模型生成过渡模糊的图像。

作者经过分析后认为，产生上述问题的原因在于：Instance Normalization，它缺失了关于颜色独立的先验信息。为解决该问题，作者提出一种颜色引导网络以动态输出图像的颜色特征。

上图给出了作者所涉及的颜色引导生成器网络，上半部分是引导参数网络，用于生成CARB的均值(bias，表示全局信息)与方差(weight)信息。而CARB是一个残差模块，作者组合空域注意力与AdaIN增强空域感知。因此原始图像的内容与颜色得以保留。

上图给出了判别器的网络架构头，它采用了Frequence Separation的思路。采用高斯高斯滤波器提取高频信息，这使得判别器仅进行图像的高频成分的真实性判别，同时也会使得整个GAN的训练更稳定、更快收敛。

Supervised SR

Experiments

如前面所述，本文所提方法包含两个阶段，那么训练也会包含两个阶段。

首先，我们先来看一下域变换的效果，见下图。可以看到DSGAN存在色差问题，而所提方案则基本缓解了该色差问题。

然后，我们再来看一下超分的效果，见下表与图。可以看到：所提方法无论是LPIPS指标还是视觉效果均有了非常大的提升。

其次，我们来看一下所提方法在NTIRE2020超分竞赛中的表现，见下图。从图中可以看到：相比已有方法，所提方法具有更优的视觉效果。

最后，给出作者设计的几组消融实验结果对比。

从上表与图中的对比，可以得出这样几个结论：

Bicubic-vs-GAN：基于双三次插值合成数据训练的GAN存在严重的失真现象；
CARB-vs-GAN：采用标准GAN生成的数据训练的超分模型存在假性纹理；
CARB-vs-GANFS：采用GAN-FS方式生成数据训练训练的超分模型同样存在假性纹理有所改善，但细节也丢失了；
总而言之，本文所提方案最接近GroundTruth。

Conclusion

这篇论文提出了一种CARB模块作为域变换网络的基础单元，它可以有效的对图像进行域迁移，同时保持内容与色彩信息；作者同时还对ESRGAN的判别器进行了修改使其同时关注高频与低频信息；最后作者基于Canny提出一种边缘损失用于增强图像的边缘细节。所提方法在真实世界数据上取得了优于ESRGAN的效果，并在NTIRE2020超分竞赛中取得了优异成绩。

从笔者角度来看，这篇论文最大的价值点在于：无监督域变换模块。它提供了一种有效的Near-Real数据制作方案，它的作用要比网路架构上的“魔改”更有意义。

来源：AIWalker
作者： Happy

GFSNet | 高低频分离超分方案