首发：AIWalker
作者： HappyAIWalker
标题&作者团队
Paper: https://arxiv.org/pdf/2012.06...
该文是中科大陈志波老师团队在RealSR方面的一个工作，它从频率角度出发分析了RealSR与SISR之间的关键差异，基于差异所在设计了一种频率分离模块，为达到全频带的复原目的设计了一种区域自适应特征集成模块。所提方法在DRealSR数据上取得了SOTA性能。
Abstract
常规图像超分往往聚焦于解决单一而均匀的退化(比如bicubic下采样)，这就导致了这些方法应用到真实场景(退化方式更为复杂)时性能的极具下降。真实图像超分的关键挑战在于：如何学习informative与content-aware的特征表达。
该文作者提出了一种全频带区域自适应网络(Omni-frequency Region-adaptive Network, ORNet)以解决上述问题，作者将低频、中频以及高频特征合成全频带特征。具体来说，作者从频率角度出发设计了一个频率分离模块以分离不同的频率成分并用于补偿真实LR图像的不同频带的信息损失。与此同时，考虑到真实图像的不同区域具有不同的频率信息损失，作者采用动态卷积与空域注意力设计了一种区域自适应频率集成模块以复原不同区域的频率成分。最后作者通过充分的实验验证了所提方法在RealSR数据上的有效性。
上图给出了RealSR与SISR数据的LR-HR在不同频率带上的信息差异对比。可以看到：SISR的退化主要存在高频成分，而RealSR的退化则存在于全频带。该文的主要贡献包含以下几点：
- 作者从频率角度分析了SISR与RealSR的本质区别，并回答了为何常规SISR方法不能很好的处理RealSR问题；
- 基于前述分析，作者提出了ORNet用于RealSR，它包含两个技术创新：(1) 频率分离模块；(2)区域自适应频率集成模块。
- 在多个RealSR数据集上验证了所提方案的有效性与优越性。
Method
image-20201226205853014
上图给出了本文所提方案的整体流程图，所提ORNet旨在提升RealSR数据上的充分性能，它从频率角度出发设计两个关键模块：(1)频率分离模块；(2)区域自适应频率集成模块。接下来，我们针对这两个模块进行简单的介绍。
Frequency Decomposition Module
Region-adaptive Frequency Aggregation Module
考虑到RealSR与SISR两者退化的差异性，作者认为：有必要对不同区域进行自适应集成全频带成分以复原更真实的、具有更丰富纹理细节的HR图像。因此，作者提出了区域自适应集成模块，见下图，它通过动态卷积与空域注意力实现。
image-20201226213336897
Experiments
image-20201226215105832
image-20201226215136017
上表&上图给出了所提方法与其他SOTA方法在DRealSR数据上的性能&视觉效果对比。在DRealSR数据上，所提ORNet确实取得了比较好的指标；但是，很明显，ORNet与EDSR、RDN、RCAN这类方式的对比并不在同一个公平的起跑线。
image-20201226215443086
上表给出了所提方法在SISR数据集上的性能对比，所提方法的指标与EDSR相当。这个对比就比较明显了，当把ORNet与EDSR、RCAN、RDN这类方法放到同一个起跑线后，其性能&效果优势就不见了，只是与EDSR相当，而相比SOTA方案(比如RCAN、IGNN、DeFiAN等)仍有不小的差距。
一点点的感触
ORNet从一个比较新颖的角度出发，设计了一种“分而治之”的频率增强方案用于真实图像超分。不过这种“分而治之”的思想在不少paper中具有体现，比如DRealSR一文、RealSR一文等等；巧妙之处在于多分支形式的频率分离并通过“coarse-to-fine”方式进行分频率增强。动态滤波器部分则采用MSRA的DynamicConvolution方式，其巧妙之处在于所提的是注意力图而不是特征。
但是呢，ORNet的性能&效果在SISR数据上并无明显优势，反而计算复杂度更高；尽管该文在DRealSR上的指标不错，但是SISR那些方法鲜少在DRealSR上进行训练，所以实验部分的一些对比有那么一点点的“不公平”。
在SISR方面，现有的超分方案基本上都达到了“性能饱和”，研究者们开始朝着RealSR方向进行更多的探索，也有一些不错的工作，比如Tencent的RealSR(它从数据集角度着手)；而本文则是从网络结构方面着手。
尽管这些方法均取得不错的效果，但这些方法仍是数据驱动，一旦数据分布发生变化则导致性能的急剧下降。真实图像超分问题距离真正解决还有不少的路要走，也期待各位同学有新的突破......
- END -
推荐阅读
本文章著作权归作者所有，任何形式的转载都请注明出处。更多动态滤波，图像质量，超分辨相关请关注我的专栏深度学习从入门到精通。
