Happy · 2021年06月21日

SR-LUT | 比bicubic还快的图像超分,延世大学提出将查找表思路用于图像超分

首发:AIWalker
作者:HappyAIWalker
image.png
标题&作者团队
本文是延世大学在图像超分方面的颠覆性之作,它首次提出采用LUT进行图像超分,尽管该方法的性能仅比传统插值方法稍好,甚至不如FSRCNN性能高。但是,该方案最大的优势在于推理速度快,比双三次插值还要快。SR-LUT斜眼看到插值方案以及深度学习方案,轻轻的说了句:“论速度,还有谁!

Abstract

从上古时代的“插值方法”到中世纪的“自相似性方案”,再到 前朝时代的“稀疏方案”,最后到当前主流的“深度学习方案”,图像超分领域诞生了数以千计的方案,他们均期望对低分辨率图像遗失的纹理细节进行复原重建。伴随着移动设备、硬件显示设备的普及,实用超分的需求进一步提升。尽管当前主流的深度学习方案具有更好的视觉质量,但它们往往依赖于并行计算模组(比如GPU),而在手机或者TV端的部署难度非常大(主要体现在速度方面,输入动不动就上2M,8M,16M,此时我们就非常羡慕检测和分类领域不超过500x500输入,😂)。

为此,通过采用查找表,我们提出一种高效且实用的超分方案。我们采用小感受野训练超分网络并将期输出值迁移到查找表;在测试阶段,我们根据输入从LUT中索引与计算的HR输出。由于不需要大量的浮点计算,所提方法计算非常快。

最后,我们通过实验验证了所提方法的效率与有效性。值得一提的是,所提方法具有比双三次插值更快、更好多的视觉效果。下图给出了三星S7手机上的度量对比(输入为320 x 180,输出为1280 x 720)。

image.png

Method

image.png

上图给出了本文所提方案SR-LUT训练与测试示意图,整个过程包含这样几个步骤:

  • 首先,训练一个具有非常小感受野的的超分网络,见上图a;
  • 然后,将上述训练网络的输出迁移到SR-LUT,见上图c;
  • 最后,在对于输入图像块,其对应的HR像素可以通过SR-LUT得到。

image.png

对于一个实用SR-LUT,超分网络的感受野应当足够小,因为SR-LUT的大小会随感受野指数增加。上表对比了不同感受野时的SR-LUT大小对比。从中可以看到:

  • 当感受野为2,超分倍率为4时,SR-LUT的大小为1M;
  • 当感受野为3、4、5时,SR-LUT的大小迅速增长到256M、64G、1T。

当感受野尺寸大于3时,SR-LUT的大小非常大,不利于实际应用。在本文,我们令Ours-V表示感受野为2,Ours-F的感受野为3,Ours-S的感受野为4。接下来的内容,我们主要以感受野为4的Ours-S为例进行介绍,其他感受野的同样适用。

Training Deep SR Network

Network Architecture 受限于感受野,过多的卷积层并不会提升性能但会加速收敛。因此,我们构建了一个6层的超分网络。对于感受野为4而言,我们固定第一层的卷积为,其他卷积层的尺寸为1。通道数设为64,最后一层的输出通道数设为。注:网络的层数并不会影响最终的推理耗时,因其仅用于构建SR-LUT

Rotational Ensemble Training 一般来说,更多的像素有助于提升超分性能。然而,感受野为4的模型对于HR图像估计而言太小了。比如FSRCNN需要169个像素,甚至双三次插值都需要16个像素。为探索LR输入更多区域,我们在训练阶段采用了旋转集成策略(即常见的0-90-180-270旋转),通过这种方式其感受野就扩充到了9个像素。此时,最终的输出可以表示如下:
截屏2021-06-21 12.05.22.png
超分网络的训练采用常规的训练方式即可。

旋转自集成策略往往用于在测试阶段提升模型的性能,而本文则将其用到了训练阶段提升模型性能。

Transferring to LUT

完成超分模型训练后,我们构建一个4D尺寸的SR-LUT。对于全LUT,我们计算超分模型的所有可能输出并将其保存到LUT。输入值则作为LUT的索引,对应位置保存对应的输出值。

截屏2021-06-21 12.08.52.png

Testing Using SR-LUT

一旦完成SR-LUT的构建,我们就可以通过SR-LUT进行图像超分。为得到最终的输出,我们还需要应用了插值,这里我们已线性插值作为基线。线性、三次、四次等插值与SR-LUT则构成了2D、3D、4D、5D+SR-LUT。实际上,我们采用了四面体插值,它比三次插值更快。下图对比了不同插值方法的计算量对比,相比三次插值,四面体插值计算量少了2.5倍

截屏2021-06-21 12.10.12.png
截屏2021-06-21 12.10.58.png
截屏2021-06-21 12.12.00.png

四面体插值可以扩展到4D空间,此时仅需5个边界顶点,下表给出了示意说明。

截屏2021-06-21 13.46.19.png

Experiments

训练数据为DIV2K,训练方式略。直接看结果吧。

截屏2021-06-21 13.47.25.png

从上表对比可以看到:

  • 相比双三次插值,所提Ours-V速度快45ms,PSNR指标高0.8dB;
  • 相比双三次插值,所提Ours-F速度快26ms,PSNR指标高1.35dB;
  • 相比双三次插值,所提Ours-S速度慢31ms,PSNR指标高1.40dB;
  • 相比稀疏编码方法,所提方法具有具有更快的推理速度、更高PSNR指标,且LUT比起字典更小;
  • 相比FSRCNN,所提方案指标稍低,但推理速度快25倍;
  • 总而言之,所提方法具有超快的推理速度,同时具有比插值方法更优的性能

截屏2021-06-21 13.50.01.png

上图对比了不同方案的视觉效果对比,从中可以看到:

  • 由于较小的感受野,Ours-V与Ours-S存在一定程度的伪影问题;
  • 相比双三次插值,所提方案生成结果更为锐利。

推荐阅读

本文章著作权归作者所有,任何形式的转载都请注明出处。更多动态滤波,图像质量,超分辨相关请关注我的专栏深度学习从入门到精通
推荐阅读
关注数
6199
内容数
192
夯实深度学习知识基础, 涵盖动态滤波,超分辨,轻量级框架等
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息