Happy · 4 天前

CVPR`25 | 让暗光照片秒变电影大片!全球首个可训练的HVI色彩空间,突破低光增强瓶颈!

image.png

文章链接:https://arxiv.org/abs/2502.20272 
代码连接:https://github.com/Fediory/HV... 
Hugging Face Demo:https://huggingface.co/spaces...

image.png
(阅读原文查看视频)

亮点直击

  • 为 LLIE 任务引入了一种新的全球首个可训练的颜色空间,该空间由极化的 HS 和可训练的强度唯一定义。这提供了一个有效工具,消除了 HSV 空间产生的颜色空间噪声,显著增强了低光图像的亮度。
  • 进一步提出了一种新颖的 LLIE 网络 CIDNet,用于在 HVI 空间中同时建模低光图像的强度和色度。尽管该网络轻量且计算高效,参数较少(1.88M)且计算负载较低(7.57GFLOPs),但它能够在不同光照条件下学习精确的光度映射。
  • 定量和定性实验的综合结果表明,本文的方法在 10 个数据集上的不同指标上均优于各种类型的现有最先进(SOTA)方法。

总结速览

解决的问题

  • 颜色偏差和亮度伪影:现有基于 sRGB 空间的低光图像增强(LLIE)方法由于 sRGB 的高颜色敏感性,容易产生颜色偏差和亮度伪影。YUV 和 Lab 均不能解决亮度问题。
  • 红色和黑色噪声伪影:使用 HSV 颜色空间虽然解决了亮度问题,但会引入显著的红色不连续噪声(Red Discontinuity Noise)和黑色平面噪声(Black Plane Noise),尤其是在红色主导或极暗图像中。

提出的方案

  • 新的颜色空间 HVI(Horizontal/Vertical-Intensity)
  • 通过极化的 HS 映射(Polarized HS Maps)减少红色坐标的欧几里得距离,消除红色不连续噪声。
  • 引入可学习的强度压缩函数(Adaptive Intensity Collapse Function),压缩低光区域的半径以消除黑色噪声。
  • 颜色与强度解耦网络(CIDNet)
  • 使用双分支结构(HV 分支和强度分支)分别建模颜色和亮度信息,实现颜色与亮度的解耦。
  • 在 HVI 空间中学习精确的光度映射函数,适应不同光照条件。

应用的技术

  • 全球首个可训练的颜色空间
  • 极化的 HS 映射:通过数学变换减少红色噪声。
  • 自适应强度压缩函数:动态调整低光区域的强度。
  • 深度学习网络(CIDNet)
  • 双分支结构:HV 分支处理颜色信息,强度分支处理亮度信息。
  • 光度映射优化:通过神经网络学习颜色和亮度的最佳映射关系。

达到的效果

  • 消除噪声伪影
  • 红色不连续噪声和黑色平面噪声显著减少。
  • 提升图像质量
  • 在 10 个基准数据集上,全球首个可训练的颜色空间结合 CIDNet 的表现优于现有最先进方法。
  • 恢复的图像亮度更自然,颜色更准确,细节更丰富。
  • 适应性强
  • 能够处理红色主导和极暗图像,适应不同光照条件。

目前,所有的代码,算法,训练权重,基于 11 个数据集(LOLv1, LOLv2-real, LOLv2-synthetic, DICM, LIME, NPE, MEF, VV, Sony-Total-Dark, SICE, LOL-Blur)的测试结果,均已开源。模型的 demo 也可以在 hugging face 网站上免费体验到,欢迎大家来使用我们的 HVI-CIDNet 方法。下面我们对我们的论文进行详细的介绍。

关键动机

低光图像增强(LLIE)旨在提升暗光环境下捕获图像的视觉质量,同时抑制噪声和颜色失真。

传统的图像增强方法大多基于常见的sRGB 色彩空间,但其有个致命缺点——颜色和亮度高度耦合,增强时易引发色偏和亮度伪影。

后来,研究者改用 HSV 色彩空间(把颜色解耦为为色调、饱和度和亮度),虽然取得了一些进展,但增强效果始终不理想,会导致红色与黑暗区域产生严重伪影。

我们认为是 HSV 中有两种特殊的噪点导致了这个问题(如图 1b):

(1)红色间断噪点:在 HSV 中,红色色调(Hue)在色环的两端(0° 和 360°)是同一个颜色,但算法处理时容易割裂,导致噪点。

(2)黑色平面噪点:低光区域的像素亮度极低,而 HSV 的变换过度放大这些黑暗区域,把噪声也过度放大,导致信噪比极低。

图1. sRGB-HSV-HVI的颜色空间变换过程与动机

图 1. sRGB-HSV-HVI 的颜色空间变换过程与动机

为了解决这两种噪声,我们基于 HSV,设计了一个 HVI 色彩空间。只需简单两步就可以解决这个问题:

(1)极坐标化 HS 平面,让相邻的红色区域在数学上更连续,彻底消除断裂式噪点(见图 1c),确保颜色空间内相似色彩的欧氏距离最小化,提高红色区域内的信噪比。

(2)HVI 引入了一个可学习的光强压缩函数(Ck),动态压缩低光区域强度,抑制噪声,同时保留高光细节,维持色彩空间级别的更高信噪比(见图 1d)。

基于 HVI 的特性,我们进一步设计双分支解耦网络 CIDNet来作为一个新的低光增强基准线方法。实验表明,HVI-CIDNet在 10+1 个基准数据集(外加一个 LOL-Blur 联合任务数据集)上均达到 SOTA 性能。例如,在极端暗光数据集 Sony-Total-Dark 上,PSNR 相比最优基线提升 6.68 dB,且模型参数量仅 1.88M,计算量 7.57 GFLOPs,显著优于现有方法。

HVI 颜色空间变换

接下来,我将们介绍如何基于一张 sRGB 格式的图像,对其进行HVI 正变换(sRGB->HVI)

第一步:根据 Max-RGB 理论,计算每个像素的强度(Intensity)通道,构建强度图 I-Map(Imax):

Image

第二步:利用 I-Map 中像素的值,来得到 HSV 中的色相 h(Hue)和饱和度 s(Saturation):

Image

Image

如此,你可以发现在 HSV 空间中,红色在色相端点(h=0 和 h=6)上间断(数学不连续性),进而导致增强后出现红色断裂式噪声。因此我们只需要将 h 映射到两个新的正交分量 H 和 V 上即可解决这个问题:

Image

image.png

Image

双分支解耦网络 CIDNet

图2. HVI-CIDNet增强流程

图 2. HVI-CIDNet 增强流程

CIDNet 是为 HVI 色彩空间量身定制的双分支低光增强网络,旨在通过解耦建模颜色(HV 通道)与亮度(I 通道)信息,实现精准的噪声抑制与光照恢复。CIDNet 基于编码器-解码器结构,包含三个下采样和三个上采样层,每层都嵌入了一个轻量化交叉注意力模块(LCA)。

将低光图像变换到 HVI 颜色空间后,将光强图输入至 I 分支,建模光照分布的物理约束,自适应增强全局与局部亮度,避免过曝/欠曝;将 HVI 图输入至 HV 分支,学习颜色不变性特征,分离噪声与真实纹理,抑制色偏与局部伪影。具体来说,它由下面三个核心构成:

HV 分支:建模颜色不变性,分离噪声与真实纹理;

I 分支:学习光照分布的物理约束,实现自适应亮度增强;

交叉注意力机制:通过跨分支特征交互,联合优化噪声抑制与光照恢复过程。

LCA 的作用:

HV → I:HV 分支提供噪声分布先验,指导 I 分支在低光区域抑制过增强;

I → HV:I 分支提供光照强度权重,引导 HV 分支在暗区加强去噪,亮区保留细节。

最后将增强后的 HV 图和 I 图按通道连接后,输入至 HVI 逆变换模块中(PHVIT),即可得到增亮后的 sRGB 图像。HVI 逆变换和训练时损失函数详见论文。

实验结果

表1. LOL基准测试结果

表 1. LOL 基准测试结果

表2. CIDNet在DICM, LIME, NPE, MEF, VV, Sony-Total-Dark, SICE数据集上的结果

表 2. CIDNet 在 DICM, LIME, NPE, MEF, VV, Sony-Total-Dark, SICE 数据集上的结果

图3. LOL视觉效果对比

图 3. LOL 视觉效果对比

图4. 五个非配对数据集上的定性实验结果对比

图 4. 五个非配对数据集上的定性实验结果对比

基准实验:首先是在十个数据集(LOLv1, LOLv2-real, LOLv2-synthetic, DICM, LIME, NPE, MEF, VV, Sony-Total-Dark, SICE)上的定量实验。如表 1 和表 2,在 LOL 数据集上,CIDNet 的 PSNR/SSIM/LPIPS 全面超越 SOTA 方法(如 RetinexFormer、GSAD),且保持 7.57GFLOPs 的较低运算量。在 Sony-Total-Dark 和 SICE 这两个大型数据集上也取得了最佳的指标。尤其是 Sony-Total-Dark,PSNR 22.90 dB(比第二名提升 6.68 dB)。

虽然 CIDNet 在五个非配对数据集上(DICM, LIME, NPE, MEF, VV)的 BRISQUE 指标不如 RetinexNet 方法,但是却比它更接近真实世界(如图 4)。

表3. HVI颜色空间在其它方法中的兼容性对比

表 3. HVI 颜色空间在其它方法中的兼容性对比

跨方法兼容性:如表 3,将 HVI 变换作为预处理模块应用于其他 LLIE 方法(如 FourLIE、GSAD)后,平均 PSNR 提升 1.2~3.5dB,且 GSAD 方法结合 HVI 后,SSIM 与 LPIPS 均达到最佳效果。

表4. 针对不同模块进行的消融实验

表 4. 针对不同模块进行的消融实验

图5. 颜色空间消融实验

图 5. 颜色空间消融实验

图6. CIDNet模块消融实验

图 6. CIDNet 模块消融实验

消融实验:如表 4,图 5,和图 6,消融实验表明,我们所提出的光强压缩函数,HS 极坐标化,和 CIDNet 的子模块均有效,获得了很好的定性与定量实验结果。

https://www.onefabergroup.com... (二维码自动识别)

表5. LOL-Blur基准测试结果

表 5. LOL-Blur 基准测试结果

附加实验:如图 7 和表 5,在联合低光图像增强和去模糊 LOL-Blur 数据集上也取得了最先进的结果。(图 7 在知乎上偶尔会因为包含二维码而被隐藏,建议看原文中的图)

Image

更多的视觉效果对比图详见附录。

总结

本文引入了 HVI 颜色空间和 CIDNet 方法,以解决当前基于 sRGB 的 LLIE 方法中出现的颜色偏差和亮度伪影问题。通过结合极化的 HS 映射和可学习的强度分量,HVI 对这两个问题表现出很强的鲁棒性。为了进一步增强 LLIE,CIDNet 被设计为在 HVI 空间中建模解耦的色度和强度信息,以实现不同光照条件下的精确光度调整。在 10 个数据集上的实验结果表明,HVI 颜色空间与 CIDNet 结合后,优于现有的最先进(SOTA)LLIE 方法,确立了其作为低光增强的稳健解决方案。

参考文献

[1] HVI: A New Color Space for Low-light Image Enhancement

END

作者:AI生成未来
来源:AIWalker

推荐阅读

本文章著作权归作者所有,任何形式的转载都请注明出处。更多动态滤波,图像质量,超分辨相关请关注我的专栏AIWalker。欢迎添加极术小姐姐微信(id:aijishu20)加入技术交流群,请备注研究方向。
推荐阅读
关注数
6205
内容数
198
夯实深度学习知识基础, 涵盖动态滤波,超分辨,轻量级框架等
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息