arXiv:https://arxiv.org/abs/2004.03791
code: https://github.com/LongguangWang/ArbSR
一分钟概览版
本文提出一种任意尺度图像超分 方案，设计了一种“即插即用”型尺度感知上采样模块与一种尺度感知特征自适应模块，在这两个新提出的模块中用到了条件卷积(理解成动态滤波器卷积即可)以生成尺度相关的滤波器参数。
所提方案在非整数倍、非对称超分任务上可以取得非常好的结果，同时在整数倍超分任务上取得了SOTA性能。
Method
作者认为：不同尺度下的退化是不同的，而尺度信息有助于提升特征的判别能力，进而提升超分性能。为验证不同尺度下的特征相似性，作者以EDSR作为基线进行了可视化说明，对于每个位置按照如下公式计算特征相似性：
从上图可以看到：特征相似性会随区域以及模型深度而发生变化 。也就是说，不同区域、不同模块的恶特征对于尺度的敏感度各不相同。受此启发，我们提出了像素级特征自适应调整机制，即：对于具有高特征相似区域的特征直接用于任意尺度超分；对于低特征相似区域特征引入尺度相关信息进行特征调制。
Plug-in Module
上图给出了本文所提架构示意图，它以EDSR作为基线，然后插入尺度感知上采样与尺度感知特征自适应模块即可得到本文所提Arbitrary-scale版EDSR。
Scale-aware Upsampling PixelShuffle是一种广泛应用的整数倍上采样操作，它可以视作两步方案：采样步骤与空间可变滤波阶段。
Experiments
上表给出了对称尺度超分的性能对比，从中可以看到：
- 在整数倍超分方面，ArbEDSR、ArbRDN、ArbRCAN均取得了与基线模型相当的性能；
- 对于非整数倍超分，所提方案显著优于基线模型；
- 相比Meta-RDN与Meta-RCAN，所提ArbRDN与ArbRCAN取得了相当甚至更好地性能，同时具有更好的计算效率、更低的内存占用。
上图给出了对称尺度超分的视觉效果对比，可以看到：ArbRCAN具有更好的视觉感知质量、更少的伪影、更清晰的细节。
上表与图给出了非对称尺度超分下的性能与视觉效果对比，可以看到：
- 所提ArbRCAN具有比基线模型以及Meta-RCAN更高的指标、更低的内存占用、更快的推理速度。
- 所提ArbRCAN生成的结果具有更锐利的边缘、更好的视觉感知结果。
上图给出了真实场景图像的不同倍率超分效果对比，可以看到：ArbRCAN生成结果具有更好的感知质量。
后记
ArbSR是2020年4月8号首次上传到arXiv(暂且称之为ArbSRv1)，不过当时那个版本的与本文有一些区别（不过两个版本的性能基本相当），见下图红框。当时看到这篇文章第一感觉：动态卷积+动态形变卷积。
本文解读版是2021年7月23号上传到arXiv(暂且称之为ArbSRv2)，此时已被ICCV2021接收。相关实现code也在前几天开源了，所以就稍微花了点时间看了下并做记录。
整体架构与思想上两者其实非常相似，但是本质上的区别还不小：
- 在尺度感知卷积方面，ArbSRv1是直接进行卷积核的预测(用的是动态滤波器的思想)，而ArbSRv2则是预测不同weight的融合系数(用的是条件卷积的思想，与CondConv类似)，两者虽然都是动态卷积，但本质不同。
- 在尺度感知上采样方面，ArbSRv1是直接进行卷积核以及offset的预测(用的同样是动态滤波器)且offset将被用到采样阶段；而ArbSRv2在offset的预测与应用方面相似，不过卷积核预测方面引入了bottleneck思想进行了两次卷积，同时用到了残差思想。
此外，ArbSRv1在训练阶段还用到了知识迁移机制(见下图)，而ArbSRv2并未使用该机制，而只是用基线模型进行参数初始化。
补充，两者的出发点虽然类似，不过呈现方式不太一样，下图是ArbSRv1在特征相似可视化方面的对比。从这个角度看：纹理丰富的区域尺度无关，而纹理较少的区域存在尺度相关(译自原文)。不应该是：纹理丰富区域尺度相关，平坦区域尺度无关吗？？？动机这块说明的貌似不太好，可能也是个人理解不到位。可能这也是作者低ArbSRv2中换了一种可视化的原因吧。
首发：AIWalke
作者： Happy
推荐阅读
