GhostSR|针对图像超分的特征冗余，华为诺亚&北大联合提出GhostSR

【导读】本文是华为诺亚&北大提出的一种轻量化图像超分的方案，它结合了GhostNet中的特征融合思想，同时考虑了图像超分任务的特殊性(不能直接移除冗余特征)，提出了通过shift操作来生成这类“幽灵特征”，在降低计算量、参数量、推延迟的同时确保性能不显著下降。这里所提出的GhostSR一种通用性的轻量化方案，相比剪枝等技术，该技术可以在性能几乎无损的约束下带来显著的推理速度提升、参数量降低、计算量降低。

Abstract

基于CNN的图像超分方案在取得显著性能提升的同时也带来了巨大的计算量需求，这就导致了现有CNN超分方案难以真正的落地。在视觉识别任务中，GhostNet对特征冗余问题进行了研究并取得了非常好的效果；而超分任务中的特征冗余问题则较少讨论。基于现有超分模型中表现出来的特征相似性(也就是特征冗余)，本文提出采用shift操作生成冗余特征(即Ghost Feature,本文将其称之为幽灵特征)。

不同于depthwise卷积对于GPU/NPU的不友好，shift操作可以在现有硬件下对CNN带来显著的推理加速。我们对shift操作在SISR中的有效性进行了分析并通过Gumbel-Softmax技巧使得shift操作变为可学习形式。对于给定的预训练模型，我们首先对每个卷积的滤波器进行聚类以确认用于生成本征特征的滤波器。幽灵特征可以通过对本征特征沿着特定方向移动进行生成。完整的输出特征通过将本征特征与幽灵特征进行concat组合得到。

最后，作者在多个基准数据及上对所提方案与其他SISR方案进行对比：所提方案可以大幅降低参数量、计算量、GPU延迟并取得同等性能。比如对于EDSRx2，通过所提方案可以减少47%的参数量、46%的计算量以及41%的GPU推理延迟，且不会造成显著性能下降。

Method

Shift

对于基于CNN的SISR而言，它一般包含大量的卷积计算。对于常规卷积，如果输出特征为，那么它需要的计算量，卷积的计算消耗还包含功耗、推理耗时等。与此同时，我们观察到SR网络中的某些特征具有相似性，也就是说：某些特征可以视作其他本征特征的ghost，事实上，冗余特征可以提供本征特征之外的更多纹理与高频特征，而这些特征无法向GhostNet那样直接进行移除。不同于GhostNet中的消除冗余，本文提出采用更有效的操作(比如shift)生成它。以下图为例，VDSR网络中的特征存在非常强的特征相似性。

Benefits

Learnable shift

前面提到了shift的定义和优点，但它怎么嵌入到CNN中呢？为了在训练过程中更灵活的调整本征特征，作者提出使偏移权值W变成可学习方式。然W中的one-hot数值方式使其难以优化。

作者提出采用Gumbel-Softmax技巧解决上述问题，它在前向过程中传递one-hot信号，在反向传播时传递soft信号，这就解决了前述不可微问题。

Ghost Features in Pre-Trained Model

接下来，我们再来看一下如何利用上述机制训练一个GhostSR，见下图。

Experiments

训练数据：DIV2K；测试数据：Set5、Set14、B100、Urban100。度量指标为PSNR/SSIM@YCbCr。对比模型包含EDSR、RDN、CARN。

上表给出了不同倍率、不同模型的优化前后的性能对比。从中可以看到：

对于非轻量型模型EDSR与RDN而言，当常规卷积通过shift进行替换后，参数量与计算量几乎减少一半且性能无显著下降；更重要的是：结合高效CUDA实现，GhostSR可以带来显著的GPU推理速度，高达41%。
对于轻量型模型CARN与CARN_M而言，参数量、计算量与GPU延迟同样带来不同程度的减少。甚至对于CARN_M，GhostSR还带来一定程度的性能提升，同时参数量、计算量还有所降低。