因为最近一年甚少看到图像压缩伪影移除相关的paper，就下意识的以为该问题已经解决了，基本上现有方案完全可以商用。到上次看到BSRGAN与Real-ESRGAN后也曾想到过二次JPEG压缩问题，但下意识的认为跟一次压缩没太大区别，真的从来没有想到二次JPEG压缩之间的非对齐现象。
本文又是ETH团队在low-level方面的工作，同样也被ICCV2021接收。本文对JPEG压缩伪影问题进行了探索，尤其是针对真实场景中的非对齐二次JPEG压缩问题进行分析。从现有方案的不灵活性、对非对齐二次JPEG压缩的失效等问题入手，提出了一种更为灵活、支持交互的盲压缩伪影移除方案。与此同时，作者还提出了一种新的退化模型(很有BSRGAN的味道)以生成非对齐二次JPEG压缩伪影训练数据。
ICCV2021:https://github.com/jiaxi-jiang/FBCNN/releases/download/v1.0/FBCNN_ICCV2021.pdf
code:https://github.com/jiaxi-jiang/FBCNN
Abstract
因其方便实用，单模型处理不同质量的JPEG压缩伪影移除已受到了广泛关注。然而，现有盲方案往往直接进行重建而未考虑质量因子，因此会像非盲方案一样缺乏灵活性。
为缓解上述问题，本文提出了FBCNN(Flexible Blilnd Convolutional Neural Network, FBCNN)，它预测质量因子并控制伪影移除与细节保留之间的均衡。具体来说，FBCNN通过decoupler模块将质量因子从JPEG图像中解耦合，然后将预测的质量因子通过质量因子注意力模块嵌入到后续重建模块中以进行更灵活的控制。此外，我们发现：现有方案在非对齐(哪怕仅存在一个像素偏差)二次JPEG压缩图像上会失效 。为此，我们提出了一种二次JPEG退化模型进行训练数据增强。
实验结果表明：在JPEG图像、更广义的二次压缩JPEG图像以及真实JPEG图像上，无论是定量还是定性评价，所提方案均优于已有方案 。
背景说明
因其简单性与快速编解码速度，JPEG是一种常见的图像压缩方案，它将图像拆分为非重叠图像块，然后对每个图像块执行DCT变换，所得DCT系数通过量化表进行量化。量化表中的元素控制了压缩比例，系数的量化会导致了信息损失，也是整个过程仅有的有损操作。量化表通常由QF表示，越低表示信息损失越多。
现有JPEG压缩伪影移除存在以下四点局限性：
- 现有DNN方案往往对每个QF训练一个模型，缺乏灵活性；
- 基于DCT的方案需要事先获得DCT系数或者量化表，而这些信息仅见诸于JPEG格式；此外，当图像进行多次压缩时，只有最近一次的压缩信息得以保留；
- 为解决第一个问题，近期一些方案对大范围QF训练一个模型，然而这些方案仅能提供确定性重建结果，而忽视了用户偏好；
- 现有方案大多基于合成数据训练，且仅压缩一次；而实际中的图像往往压缩多次。
二次图像压缩(double JPEG Compression)在图像取证领域已被研究很长时间，二次压缩检测可以为图像复原提供重要信息。已有盲方案在面对二次压缩图像时往往失效。
Method
上图给出了所提方案整体架构示意图，它以JPEG图像作为输入，直接生成重建图像。具体来说，FBCNN包含以下四个模块：
- decoupler：该模块旨在从输入图像中提取深层特征并解耦隐含质量因子。它包含四个尺度，每个尺度均提供一个跳过连接到重建模块。每个尺度的通道数分别为64、128、256以及512.
Restoration of Double JPEG Images
Limitations of existing methods : 尽管某些现有方法声称能够重建JPEG压缩图像，但关于二次JPEG压缩复原的研究尚未得到深入研究。我们发现：现有盲方法在面对二次不对齐JPEG压缩且 时会失效，哪怕只有一个像素偏移 。
上图给出了不同压缩下的效果对比，从中可以看到：
Experiments
关于训练数据制作，作者采用MATLAB的JPEG编码器进行数据制作，训练数据为DIV2K与Flickr2K，图像压缩质量因子从10-95之间随机采样。
Single JPEG Image Restoration
上表给出了灰度图像一次压缩任务上的性能对比，从中可以看到：所提方案显著优于其他盲方案 ，如DnCNN与QGAC，同时适度优于MWCNN(针对特定质量因子训练)。
上图给出了可视化效果图，可以看到：所提方案复现效果更自然友好。
上表给出了彩色图像一次压缩任务上的性能对比，从中可以看到：所提方案显著优于QGAC 。
上图可视化了FBCNN的灵活性，可以看到：通过设置不同的质量因子，可以得到不同感知质量结果 。也就是说，用户可以通过交互方式按照个人偏好进行压缩图像复原。
Double JPEG Image Restoration
上表给出了灰度图像非对齐二次JPEG压缩任务上的性能对比，从中可以看到：
- 当调整的顺序时，尽管JPEG图像的PSNR指标相差很小，但不同方案的性能却会出现严重下降。
- 当引入所提退化模型进行数据增广时，所提方案的性能得到进一步提升。
上图给出了可视化效果图，很明显：所提方案具有更高的指标、更佳视觉效果。
Real-world JPEG Image Restoration
上图给出了不同方案在真实数据上的效果，可以看到：所提方案重建结果具有更佳的视觉感知效果。
内容补充
关于非对齐二次JPEG压缩，作者给出了比较好的说明：非对齐二次JPEG压缩指的是两次JPEG压缩的块是不对齐的，存在像素偏移。比如，我们对一个JPEG图像进行裁剪，然后再保存为JPEG，此时很大概率得到一个非对齐二次JPEG压缩图像，可参考上图。当然，还有许多其他常见场景，包含但不限于以下几种：
- 手机拍摄的图像上传到网上，大多媒体平台会对上传图像进行下采样并添加JPEG压缩以节省存储空间；
- 裁剪、旋转你、缩放等编辑操作后再保存为JPEG图像；
- 对JPEG进行缩放后截屏再保存为JPEG图像；
- 将不同JPEG图像合并为一个大图再保存为单个JPEG图像；
最后，附上两个效果图，真的非常赞！
首发：AIWalke
作者： Happy
推荐阅读
