NTIRE2021 HDR竞赛方案简介

首发：AIWalker
作者：HappyAIWalker

今天要介绍的是NTIRE2021的HDR竞赛方案。从竞赛结果来看，大部分方案都是在SingleHDR与AHDRNet的基础上演变而来，创新性反而不如视频超分竞赛那样新idea“层出不穷”。还是没忍住，又来分享竞赛方案了，大写的尬！

该竞赛旨在衡量并推进HDR图像重建的进一步发展，它主要聚焦于具有挑战性场景的HDR图像重建，比如亮度范围极广的场景、存在相机、场景或光线等复杂运动的场景。

Datasets

HDR重建无论是训练还是评估都需要高质量的标注数据，对于深度学习方法而言，训练样本的数量、多样性(比如场景、相机抖动、曝光、纹理、语意内容等)对于模型的性能、泛化性能影响非常大。构建具有这些特性的高质量HDR数据非常具有挑战性。

为了该竞赛，我们构建了一个新的HDR数据集，它包含近1500训练数据、60验证数据以及201测试数据。每个样例由三个LDR图像(即long、medium以及short)、与medium曝光对齐HDR图像构成。注：这里的HDR是通过设备采集而来，而LDR则是通过下面的模型合成得到。

Image Formation Model 为模拟HDR到LDR过程，我们采用如下像素度量模型：

其中，表示LDR图像，表示场景亮度，t表示曝光时间，g为传感器增益，为常熟偏移，n为传感器噪声，表示饱和值。我们假设可以通过HDR图像很好的近似，仅需调整曝光时间t即可得到不同的LDR图像。

Noise Model 为更真实地生成常规LDR图像，我们还引入了噪声，包含读出噪声、ADC噪声、量化噪声等。该噪声定义如下：

上图给出了几个HDR图像以及生成的LDR图像示意图。通过这种方式，我们可以手动的平衡训练集、测试集之间的场景、数量等平衡性问题，最终得到29个场景1750样例。

Challenge Design and Tracks

该竞赛划分为两个不同的赛道：单帧HDR、多帧HDR。接下来，对这两个竞赛进行简单描述。

Track1：Single Frame

该赛道主要评估当仅有单帧LDR时的HDR重建质量。不同于多帧HDR，单帧HDR只有一种曝光量，因此更具挑战性。类似的，单帧图像降噪也使得该竞赛难度进一步家具。但同时，该赛道不需要考虑运动相关的伪影问题，而这在多帧HDR中需要重点考虑。

Track2：Multiple Frame

该赛道主要平局三个不同曝光LDR条件下的HDR重建质量。相比单帧HDR，它的输入信息更多，理论上会有更好的重建质量。但考虑到不同LDR之间的运动、亮度不同等因素，多帧HDR的挑战也是非常大。

Evaluation

该竞赛的评价采用客观指标进行度量，我们选择了PNSR与PSNR-u两种度量指标，后者作为该竞赛的主要评价指标。PSNR的计算非常简单，这里只对PSNR-u进行介绍，在计算之前，我们先对图像执行如下tone-mapping操作，公式如下：

这里我们固定。为避免峰值归一化噪声的过度压缩，我们使用99%的GT选定进行归一化并后接tanh使得数据范围位于。

Results

在Track1方面，总计有120个注册团队，只有7个团队进入最后的测试阶段；在Track2方面，有126个注册团队，只有6个团队进入最后的测试阶段。下面两个表给出了两个赛道的排名情况。

Track1 NOAHTCV与XPixel获得相近的PSNR-u指标，差别仅为0.07dB；而BOE-IOT-AIBD获得第三名，指标比第一低了0.4dB，然而其PSNR指标排第一。

Track2 Me个HDR团队取得了第一，比亚军方案SuperArtifacts高0.56dB指标；NOAHTCV排名第三，质保比第二低了0.5dB左右。

Team and Methods

NOAHTCV

该团队提出了两个HDR方案，一个用于单帧HDR，一个用于多帧HDR。

Single HDR 上图为所提多阶段单帧HDR方案，它将该问题分解为denoising与hallucination两个子任务。输入图像I经由去噪网络得到降噪结果D；然后I与D通过hallucination处理得到H；最后I、D以及HD通过refine网络融合得到输出O。

Multiple HDR 上图为所提三阶段多帧HDR方案，它包含对齐与增广模块、基于注意力的信息提取模块以及增强融合模块。其中对齐与增广模块采用与预训练PWCNet将short与long向medium仿射变换；信息提取采用源自AHDRNet的遮挡注意力机制减少不对齐畸变；增强融合模块则与AHDRNet中非常类似。

MegHDR

上图为该团队针对多帧HDR而设计的方案，提出了一种注意力引导形变卷积网络用于HDR。整体架构与EDVR非常相似，比如PCD对齐、RRDB模块等。对方案感兴趣的朋友可以去看一下原文：ADNet；或者等待笔者的解读。

XPixel

上图为XPixel团队所提出的HDRUnet方案，该方案包含三个子网络：Base、condition以及weighting。其中Base网络是一种UNet风格的编解码架构；条件网络与SFT被引入用于获得自适应调制效果；除了之外，还引入了Mask机制自适应调整不同区域的处理强度。该团队还提出了一种tanh_L1损失平衡过曝与正常曝光的影响。更详细的说明建议查看笔者之前的解读：HDRUNet | 深圳先进院董超团队提出带降噪与反量化功能的单帧HDR重建算法。

BOE-IOT-AIBD

上图为该团队针对单帧HDR所提出的解决方案，它包含三个子网络：图像重建IR、细节重建DR以及局部对比度增强LCE。IR用于根据LDR图像进行粗粒度HDR重建；DR用于进行细节复原并与IR结果相加；LCE则用于预测亮度掩码并与前述两者相加结果相乘。注：三个子网络采用了相同的骨干，即AdaptiveRDN。

SuperArtifacts

上图为该团队针对多帧HDR而设计的方案，它在三个不同分辨率进行图像处理并进行特征融合。在AHDRNet的基础上，在三个层次上进行特征编码，这可以有效提升感受野并可以更好的处理大前景运动。在每一级，我们采用注意力机制判别哪些区域采用来自long或者short的曝光信息；每一级的特征在上采样之前先进行合并；最后将三个层次的特征进行合并生成最终的HDR图像。

CET-CVLAB

上图为该团队这对单帧HDR而设计的方案，它采用了堆叠DRDB(dilated residual dense block)方式构建主体部分，DDRB内部的扩张比例比1逐渐提升到3，然后再从3下降到1。此外，所有DRDB还进行拼接以更好的改进网络的表达能力。

CVRG

该团队提出了一种两阶段方案：在阶段1进行降噪并进行8bitHDR图像重建；在阶段2进行16bit图像重建。该团队还提出了一种残差稠密注意力模块，见下图，它组合了残差稠密模块与空域注意力模块。

ZJU231

上图为该团队针对多帧HDR而设计的方案，它同样是一种两阶段方案：伪影移除子网络与多曝光信息融合子网络。受启发于AHDRNet，伪影移除子网络采用参考图像为long与short曝光图像生成注意力图，所提到的特征与注意力图相乘，将所得结果进行拼接并送入后续融合子网络得到输出。融合子网络由5个DRDB后接三个卷积构成。

Samsung Research Bangalore

上图为该团队针对多帧HDR而设计的方案，其核心模块为DCRB：一个分之采用卷积+PReLU+Conv+PReLU组合，一个分之采用卷积。每个输入图像采用独立的分之进行处理；编码部分包含三个模块并用于逐渐下采样，然后对三帧提取特征进行拼接并采用6个残差模块处理，最后采用三个解码模块进行上采样到原始分辨率。

个人体会

从HDR竞赛的几个方案来看，

单帧HDR受SingHDR影响非常大，大部分方案都采用与之类似的架构，这些方案中笔者比较偏好的方案当属XPixel团队的HDRNet，笔者之前也曾对其进行解读，链接如下：HDRUNet | 深圳先进院董超团队提出带降噪与反量化功能的单帧HDR重建算法。该方案不但效果好，速度还快，更重要的是开源了！

多帧HDR受AHDRNet影响非常大，大多数方案与之非常类似，其方案见上图。各位不妨将其与前面的多帧HDR方案进行一下对比。此外，MegHDR团队采用了类似EDVR的方案，在多帧HDR赛道取得了最佳。