首发：AIWalker
paper: https://arxiv.org/abs/2008.01928
Code: https://urlify.cn/RZjuQz
Abstract
该文提出了一个大尺度多样性的真实世界图像超分数据集DRealSR，同时提出了一种“分而治之”(Component Divide-and-Conquer, CDC)的超分网络，它探索了low-level图像成分引导的图像超分。DRealSR克服了传统合成图像降质的局限性，构建了一个新的多样性的图像超分基准数据集。一般而言，不同区域的图像超分目的存在一定差异性：平坦区域的平滑性，边缘区域的锐利度，纹理区域的增强性。传统的L1/L2损失超分模型性容易受平坦区域和边缘区域主导，进而导致难以很好的复原复杂纹理。
作者提出了一种“分而治之”的模型与梯度加权损失用于图像超分，该CDC将图像拆分为三个成分并采用三个CABs学习注意力mask以及中间超分结果，同时采用“分而治之”的学习方式。所提GW损失同时提供了一种灵活的策略平衡图像不同成分的训练难度。最后作者通过充分的实验验证了所提方案的优异性能。
该文的主要贡献包含以下几点：
- 一个大尺度真实世界超分数据集；
- 一种“分而治之”的图像超分模型；
- 一种梯度加权损失函数。
Dataset
为什么要重新构建一个真实世界超分数据集呢？这是因为现有图像超分模型训练往往采用合成数据(bicubic降质)，而真实世界数据往往复杂的多。它不仅存在降质类型的多样，还存在跨设备的多样性。
鉴于此，作者采用5个数码相机(佳能、索尼、尼康、松下，Olympus)采集自然场景数据(包含室内与室外场景)，采用SIFT进行对齐，同时还对LR与HR图像的亮度进行了校正。
注：该数据集已经开源，在官方代码主页上有，链接为：https://pan.baidu.com/share/i...，提取码：osiy。有需要的同学可以与笔者联系哦，公众号后台留言即可。
CDCSR
前面已经提到：不同区域的超分目标是不同的，传统的“一视同仁”的L1/L2损失往往会受平坦区域和边缘区域主导，而忽视了纹理细节区域。下图给出了不同区域的重建难度示意图，由于图像中包含大量的平坦区域与边缘区域，这就导致了图像过过度拟合这些区域，从而导致生成的图像比较模糊。
考虑到不同区域的重建难度问题，作者构建了一种HGSR网络，见下图。它采用分而治之的思想对图像的不同区域进行不同的监督处理，同时为不同区域赋予不同的梯度加权损失。
从上图可以看到：它将网络的不同阶段赋予不同的语义信息，比如底层的平坦，中层的边缘，高层的纹理+角点等等。在训练过程中对不同区域添加不同的监督信息。整体的损失函数定义如下：
Hourglass SRNet
写到这里突然不想继续往下写了，因为网络架构方面的东西真的好简单。就简单的介绍一下该文的Hourglass模块吧，见下图。可以看到：它其实就是在UNet的基础上进行了特殊处理。
Experiments
直接上结果吧，不再介绍了，感兴趣的同学建议看原文。下表给出了所提方法、所提数据集交互验证时的性能对比。注：这里进行的两种真实世界超分数据集。
下图给出了超分的视觉效果对比。
最后，作者给出了所提超分网络与其他超分网络在合成数据与DRealSR上的性能对比。
全文到此结束吧，感兴趣的同学请去查看一下原文吧，原文还是挺不错的，哈哈。
推荐阅读：
本文章著作权归作者所有，任何形式的转载都请注明出处。更多动态滤波，图像质量，超分辨相关请关注我的专栏深度学习从入门到精通。
