首发：AIWalker
作者：HappyAIWalker
标题&作者团队
本文是中科大团队用于参加NTIRE2021图像去模糊竞赛的方案EDPN，取得了Track1三指标第一，Track2赛道双指标第一的成绩。EDPN是在EDVR的基础上改进而来，引入了金字塔结构、渐进式思想集成自相似性与跨尺度相似性特征。
Abstract
学术界的图像去模糊往往采用了最简单的单一假设，而真实场景的模糊往往与其他退化并存，比如压缩、下采样。
为解决这种问题，本文提出了一种适用于多退化的模糊图像复原：EDPN(Enhanced Deep Pyramid Network)，它充分利用了退化图像的自相似性与跨尺度相似性。具体来说，我们设计了两个基于金字塔的模块：PPT(Pyramid Progressive Transfer)与PSA(Pyramid Self-Attention)。它以多帧重复模糊图像作为输入，PPT模块采用渐进方式从相同退化图像中迁移子相似性与跨尺度相似性信息；然后，PSA模块则采用自注意力与空域注意力对前述特征进行融合。
在NTIRE2021图像去模糊竞赛中，EDPN取得了Track1赛道的最佳PSNR、SSIM、LPIPS指标，取得了Track2竞赛的最佳SSIM、LPIPS指标。
Method
上图给出了本文所提方案架构示意图，EDPN主要包含四个部分：
- 特征提取：它由18个残差模块构成，用于从重复图像中提取特征；
- PPT模块：它以渐进式进行自相似性与跨尺度相似性特征迁移与变换；
- PSA模块：它对前述变换特征进行融合集成；
- 重建模块：它用于进行残差图像的复原，它由120个多尺度残差通道注意力模块构成。
接下来，我们将主要针对PPT与PSA进行介绍。
Pyramid Progressive Transfer Module
Pyramid Self-Attention Module
在执行完PPT后，自相似性与跨尺度相似性特征以完成提取与变换。受启发于EDVR，我们提出了PSA：采用金字塔结构赋予像素级集成权值。此外，我们还采用了3D卷积融合所有特征信息，见下图。
Experiments
训练数据：NTIRE2021图像去模糊竞赛数据，包含Track1、Track2。其中，Track1需要同时进行去模糊和超分；Track2需要同时进行去模糊、压缩伪影移除。数据集为REDS。
损失函数：采用了Charbonnier损失与SSIM损失。
Ablation Study
上表对比了 不同模块的有效性，从中可以看到：
- 相比基线模型，PPT模块可以带来0.41dB性能提升；
- 相比基线模型，PSA模块可以带来0.35dB性能提升；
- 相比基线模型，PPT与PSA组合可以带来0.58dB性能提升。
上表对比了PTB模块数量的影响分析，从中可以看到：
- 越多的PTB模块可以带来越多的性能提升。这意味着更多的PTB有助于提升自相似性；
- 为平衡计算效率与性能，我们设置PPT中每级PTB数为3.
上图对比了输入的复制数量的影响，从中可以看到：采用4次复制可以取得最佳PSNR指标，指标可以从27.89提升到28.01.
上图对比了损失函数的贡献与影响，从中可以看到：仅仅采用Charbonnier损失可以取得最佳的PSNR指标，SSIM的引入会造成PSNR指标降低，但SSIM指标提升明显。为均衡考量，我们采用了两者组合。
上表从集成角度进行了分析，从中可以看到：
- 自集成与模型集成均可带来性能提升；
- 模型集成带来的性能提升要比自集成更大。
Comparisons with Existing Method
在这里，我们将其与RCAN、MSRN、GFN、EDVR等方法进行了对比。
从上表可以看到：
- 在PSNR、SSIM以及LPIPS指标方面，EDPN显著优于其他方案；
- 相比EDVR，EDPN在BISR任务上取得了0.38dB性能提升，在BID任务上取得了0.77dB性能提升。这说明EDPN可以有效的探索自相似性与跨尺度相似性，进而提升了模型在多退化方面的复原性能。
上图给出了所提方案在BID、BISR任务上的视觉效果对比。可以看到：EDPN取得了最佳的视觉效果，更精确的细节。具体而言，EDPN复原的边缘更为锐利、清晰。
Challenge Results
上图对比了NTIRE2021图像去模糊竞赛两个赛道上的排名，可以看到：
- 在Track1赛道，EDPN取得了绝对优势；相比第二名，其PSNR指标提升0.13dB，SSIM指标提升0.017，LPIPS指标下降0.0172；
- 在Track2赛道，EDPN在SSIM与LPIPS指标上取得了最佳指标。
- 总而言之，EDPN是该竞赛中最有效的解决方案。
推荐阅读
- 为进一步提升调制图像复原视觉质量，先进院董超团队提出集成CResMD与GAN的CUGAN
- “重参数宇宙”再添新成员：RepMLP，清华大学&旷视科技提出将重参数卷积嵌入到全连接层
- 新坑！谷歌提出MLP-Mixer：一种无卷积、无注意力、纯MLP构成的视觉架构
本文章著作权归作者所有，任何形式的转载都请注明出处。更多动态滤波，图像质量，超分辨相关请关注我的专栏深度学习从入门到精通。
