该文是WDSR作者的在图像复原领域的另一力作，它将多尺度卷积与WDSR相结合得到了SCNSR，进一步提升了图像复原网络性能。
在视觉识别任务中，尺度不变性有助于提升模型的性能，然而在图像复原类任务中却鲜有研究。直接应用这些尺度不变技术（比如多尺度测试、随机尺度增广）到图像复原任务中反而会影响其性能。在该文中，作者提出将尺度不变引入到图像复原框架中以进一步提升图像复原性能。
它首先将输入图像映射到特征空间，然后通过双线性插值构建特征金字塔表征，所得特征被送入到多尺度卷积残差模块中，所提多尺度卷积可以动态激活集成不同尺度到特征以充分利用多尺度的特征信息。
作者通过实验验证了所提多尺度卷积在图像复原（图像超分、图像去噪、压缩伪影移除）任务中的优异性能。
paper：https://link.zhihu.com/?target=https://arxiv.org/abs/1912.09028
code：https://link.zhihu.com/?target=https://github.com/ychfan/scn
Method
分别针对所提多尺度卷积与网络架构进行简单分析介绍。
Scale-wise Convolution
上图给出了该文的核心：多尺度卷积的示意图。多尺度卷积以多尺度特征金字塔作为输入，生成同尺寸的多尺度金字塔特征. 输出特征由近邻尺度特征生成，它可以表述为：
注：通过双线性插值确保特征的分辨率相同。尽管采用采用StrideConv, DeConv, AvgPool, NNUp等方式对特征分辨率进行对齐，通过实验表明：双线性插值具有最优性能。
Framework
上图给出了本文所提出的SCNSR网络架构图，很明显，它是多尺度卷积与EDSR或WDSR的组合。这里不进行详细介绍，具体细节见代码。
Experiments
为验证所提方法的有效性，作者以DIV2K数据为参考进行训练，测试集选用Set5, Set14, BSD100, Urban100。此外，训练过程中采用了随机水平镜像、旋转进行数据增广，优化器选用了Adam，初始学习率设置为0.0001，经25个epoch后，每三个epoch折半。下图给出了所提方法在超分领域的性能对比与可视化效果对比。更多的消融实验分析详见原文。
Conclusion
作者提出了多尺度卷积（模拟尺度不变性）用于图像复原任务并取得了性能的提升。
不知大家是否发现作者所提的多尺度卷积有种似曾相识的感觉？是不是觉得它与OctConv极为相似呢？起码笔者认为两者在表达方式上相一致的，两者在代码的实现方面也是比较类似的。感兴趣者可以移除研究一下两者的关联性，可以尝试将更多的卷积模块与图像复原网络架构相组合发更多的paper!!!
推荐阅读：
本文章著作权归作者所有，任何形式的转载都请注明出处。更多动态滤波，图像质量，超分辨相关请关注我的专栏深度学习从入门到精通。
