首发：AIWalker
作者：HappyAIWalker
标题&作者团队
paper：https://arxiv.org/abs/2104/00416
code：https://github.com/LongguangW...
本文是国防科大的王龙光等人关于盲图像超分的最新工作，已被CVPR2021接收。作者创新性的将对比学习机制引入到退化表达学习中，并用所得退化表达对后接超分网络中的特征进行调制。受益于对比学习的进展，本文所设计的退化表达学习模块可以从LR图像提取出关于退化信息的精确特征表达；受益于特征表达的数据自适应提取与超分网络的退化调制，所提超分方法在盲图像超分方面取得了SOTA结果。
Abstract
现有基于CNN的图像超分往往假设退化方式固定且已知(比如bicubic/blur-down)，然而，当真实退化与之不同时模型性能就出现严重的下降。为处理真实场景中的各式未知退化，之前的方法往往依赖于退化估计进行超分图像重建。然而，退化估计过于耗时且存在一定的估计误差，这会导致超分效果的不理想。
本文提出一种无监督退化表达学习机制并用于盲图像超分，无需显示退化估计。具体来说，我们在表达空间中学习特征表达用于辨别不同的退化，而非像素空间的显示估计。更进一步，我们引入一种退化感知超分网络(DASR)，它可以基于所学习表达进行灵活自适应超分。
实验表明：本文所提退化表达学习机制可以提取极具辨别性的表达以获得精确的退化信息。合成数据与真实图像上的实验表明：所提方法在盲超分任务上取得了SOTA性能。
Degradation Representation Learning
退化表达学习的目的：采用无监督方式从LR图像中提取一个极具辨别力的表达。下图给出了本文所提退化表达学习示意图，它是一种对比学习框架。该退化表达学习的一个先验假设：同一图像的退化是相同的，而不同图像的退化是不同的。
degradation
Degradation-Aware SR
dasr
上图给出了本文所提退化感知超分(DASR)架构示意图，该网络由退化感知模块DABlock作为核心模块，同时采用了RCAN中的核心模块架构。DASR包含5个残差组，每个残差组包含5个DABlock。
在每个DABlock内，两个DA卷积层结合退化表达对特征进行自适应调节。受启发于：不同复原等级的卷积核具有相似的模式但不同的统计信息。本文所设计的DA卷积在退化表达的基础上预测深度卷积的核参数。具体来说，退化表达R送入到两个FC层并reshap为卷积核；然后输入特征F采用该深度卷积及后接卷积处理得到。更进一步，受启发于CResMD，DA卷积同时还基于退化表达学习了调制系数。具体来说，R送入到另两个FC层以及Sigmoid激活生成通道级调制系数，然后对F的不同通道进行缩放调整得到。最后上述所得两个特征相加并送入到后续层生成输出特征。
Experiments
训练数据方面，我们基于DIV2K与Flickr2K，采用不同的高斯模糊进行退化(对于x2/3/4超分，模糊核宽度分辨为)并附加加性高斯噪声(通过两个随机特征值、旋转角度确定)，噪声水平的范围为。测试数据则采用了常规的Set5、Set14、B100以及Urban00.
Noise-Free Degradation
noise-free
上表给出了无噪退化情形下的模型性能对比，可以看到：
- 当移除退化表达学习后，模型无法处理多种退化问题，具有更低的PSNR；
- 受益于动态卷积核与通道调制系数，所提方法对不同退化均生成了更好的结果；
- 相比对退化估计极为敏感的SRMDNF，受益于退化表达学习，所提方法取得了更好的盲超分性能。
sota-noise-free
上表给出所提方法与RCAN、SRMD、MZSR、IKC等方法的性能对比。从中可以看到：
- RCAN在bicubic退化方面取得了最佳PSNR，然而当退化与bicubic不同时模型出现了严重的性能下降问题；
- 尽管SRMDNF与MZSR可以对估计的退化自适应调整，但这些方法对退化估计过于敏感，限制了其超分性能；
- 所提DASR对不同退化取得了最佳性能，同时具有更少的推理时间。
noise-free-visual
上图还给出了不同方法的视觉效果对比，本文所提DASR取得了最佳视觉效果。
Anisotropic Gaussian Kernel and Noise
general-degradation
上表对了不同方法在广义退化方面的性能对比，可以看到：
- 在复杂退化方面，DnCNN+RCAN取得了相对低的性能；
- 由于SRMDNF对于退化估计的敏感性，DnCNN+SRMDNF+Predictor在复杂退化方面的性能极为有限；
- 通过迭代校正估计的退化，IKC取得了优于SRMDNF的性能，然而IKC过于耗时；
- 受益于退化表达学习，本文所提方法取得了最佳的超分性能，同时具有比IKC更快的推理速度。
general-visual
上图给出了所提方法与其他在复杂退化方面的可是话效果对比。很明显，所提方法具有更好的视觉质量；而其他方法则存在不同程度的伪影问题。
Real Degradation
real
最后，我们看一下在真实退化数据上的可视化效果，见上图。可以看到：DASR生成的结果具有更加的视觉效果，清晰的边缘，更少的模糊伪影。
推荐阅读
- CMDSR | 为解决多退化盲图像超分问题，浙江大学&字节跳动提出了具有退化信息提取功能的CMDSR
- CVPR2021|单个网络支持sRGB渲染与RAW数据重建，港科大陈启峰团队提出可逆ISP
- “无痛涨点”的ACNet再进化，清华大学&旷视科技提出Inception类型的DBB
本文章著作权归作者所有，任何形式的转载都请注明出处。更多动态滤波，图像质量，超分辨相关请关注我的专栏深度学习从入门到精通。
