文章链接:https://arxiv.org/abs/2502.20272
代码连接:https://github.com/Fediory/HV...
Hugging Face Demo:https://huggingface.co/spaces...
(阅读原文查看视频)
亮点直击
- 为 LLIE 任务引入了一种新的全球首个可训练的颜色空间,该空间由极化的 HS 和可训练的强度唯一定义。这提供了一个有效工具,消除了 HSV 空间产生的颜色空间噪声,显著增强了低光图像的亮度。
- 进一步提出了一种新颖的 LLIE 网络 CIDNet,用于在 HVI 空间中同时建模低光图像的强度和色度。尽管该网络轻量且计算高效,参数较少(1.88M)且计算负载较低(7.57GFLOPs),但它能够在不同光照条件下学习精确的光度映射。
- 定量和定性实验的综合结果表明,本文的方法在 10 个数据集上的不同指标上均优于各种类型的现有最先进(SOTA)方法。
总结速览
解决的问题
- 颜色偏差和亮度伪影:现有基于 sRGB 空间的低光图像增强(LLIE)方法由于 sRGB 的高颜色敏感性,容易产生颜色偏差和亮度伪影。YUV 和 Lab 均不能解决亮度问题。
- 红色和黑色噪声伪影:使用 HSV 颜色空间虽然解决了亮度问题,但会引入显著的红色不连续噪声(Red Discontinuity Noise)和黑色平面噪声(Black Plane Noise),尤其是在红色主导或极暗图像中。
提出的方案
- 新的颜色空间 HVI(Horizontal/Vertical-Intensity):
- 通过极化的 HS 映射(Polarized HS Maps)减少红色坐标的欧几里得距离,消除红色不连续噪声。
- 引入可学习的强度压缩函数(Adaptive Intensity Collapse Function),压缩低光区域的半径以消除黑色噪声。
- 颜色与强度解耦网络(CIDNet):
- 使用双分支结构(HV 分支和强度分支)分别建模颜色和亮度信息,实现颜色与亮度的解耦。
- 在 HVI 空间中学习精确的光度映射函数,适应不同光照条件。
应用的技术
- 全球首个可训练的颜色空间:
- 极化的 HS 映射:通过数学变换减少红色噪声。
- 自适应强度压缩函数:动态调整低光区域的强度。
- 深度学习网络(CIDNet):
- 双分支结构:HV 分支处理颜色信息,强度分支处理亮度信息。
- 光度映射优化:通过神经网络学习颜色和亮度的最佳映射关系。
达到的效果
- 消除噪声伪影:
- 红色不连续噪声和黑色平面噪声显著减少。
- 提升图像质量:
- 在 10 个基准数据集上,全球首个可训练的颜色空间结合 CIDNet 的表现优于现有最先进方法。
- 恢复的图像亮度更自然,颜色更准确,细节更丰富。
- 适应性强:
- 能够处理红色主导和极暗图像,适应不同光照条件。
目前,所有的代码,算法,训练权重,基于 11 个数据集(LOLv1, LOLv2-real, LOLv2-synthetic, DICM, LIME, NPE, MEF, VV, Sony-Total-Dark, SICE, LOL-Blur)的测试结果,均已开源。模型的 demo 也可以在 hugging face 网站上免费体验到,欢迎大家来使用我们的 HVI-CIDNet 方法。下面我们对我们的论文进行详细的介绍。
关键动机
低光图像增强(LLIE)旨在提升暗光环境下捕获图像的视觉质量,同时抑制噪声和颜色失真。
传统的图像增强方法大多基于常见的sRGB 色彩空间,但其有个致命缺点——颜色和亮度高度耦合,增强时易引发色偏和亮度伪影。
后来,研究者改用 HSV 色彩空间(把颜色解耦为为色调、饱和度和亮度),虽然取得了一些进展,但增强效果始终不理想,会导致红色与黑暗区域产生严重伪影。
我们认为是 HSV 中有两种特殊的噪点导致了这个问题(如图 1b):
(1)红色间断噪点:在 HSV 中,红色色调(Hue)在色环的两端(0° 和 360°)是同一个颜色,但算法处理时容易割裂,导致噪点。
(2)黑色平面噪点:低光区域的像素亮度极低,而 HSV 的变换过度放大这些黑暗区域,把噪声也过度放大,导致信噪比极低。
图 1. sRGB-HSV-HVI 的颜色空间变换过程与动机
为了解决这两种噪声,我们基于 HSV,设计了一个 HVI 色彩空间。只需简单两步就可以解决这个问题:
(1)极坐标化 HS 平面,让相邻的红色区域在数学上更连续,彻底消除断裂式噪点(见图 1c),确保颜色空间内相似色彩的欧氏距离最小化,提高红色区域内的信噪比。
(2)HVI 引入了一个可学习的光强压缩函数(Ck),动态压缩低光区域强度,抑制噪声,同时保留高光细节,维持色彩空间级别的更高信噪比(见图 1d)。
基于 HVI 的特性,我们进一步设计双分支解耦网络 CIDNet来作为一个新的低光增强基准线方法。实验表明,HVI-CIDNet在 10+1 个基准数据集(外加一个 LOL-Blur 联合任务数据集)上均达到 SOTA 性能。例如,在极端暗光数据集 Sony-Total-Dark 上,PSNR 相比最优基线提升 6.68 dB,且模型参数量仅 1.88M,计算量 7.57 GFLOPs,显著优于现有方法。
HVI 颜色空间变换
接下来,我将们介绍如何基于一张 sRGB 格式的图像,对其进行HVI 正变换(sRGB->HVI)。
第一步:根据 Max-RGB 理论,计算每个像素的强度(Intensity)通道,构建强度图 I-Map(Imax):
第二步:利用 I-Map 中像素的值,来得到 HSV 中的色相 h(Hue)和饱和度 s(Saturation):
如此,你可以发现在 HSV 空间中,红色在色相端点(h=0 和 h=6)上间断(数学不连续性),进而导致增强后出现红色断裂式噪声。因此我们只需要将 h 映射到两个新的正交分量 H 和 V 上即可解决这个问题:
双分支解耦网络 CIDNet
图 2. HVI-CIDNet 增强流程
CIDNet 是为 HVI 色彩空间量身定制的双分支低光增强网络,旨在通过解耦建模颜色(HV 通道)与亮度(I 通道)信息,实现精准的噪声抑制与光照恢复。CIDNet 基于编码器-解码器结构,包含三个下采样和三个上采样层,每层都嵌入了一个轻量化交叉注意力模块(LCA)。
将低光图像变换到 HVI 颜色空间后,将光强图输入至 I 分支,建模光照分布的物理约束,自适应增强全局与局部亮度,避免过曝/欠曝;将 HVI 图输入至 HV 分支,学习颜色不变性特征,分离噪声与真实纹理,抑制色偏与局部伪影。具体来说,它由下面三个核心构成:
HV 分支:建模颜色不变性,分离噪声与真实纹理;
I 分支:学习光照分布的物理约束,实现自适应亮度增强;
交叉注意力机制:通过跨分支特征交互,联合优化噪声抑制与光照恢复过程。
LCA 的作用:
HV → I:HV 分支提供噪声分布先验,指导 I 分支在低光区域抑制过增强;
I → HV:I 分支提供光照强度权重,引导 HV 分支在暗区加强去噪,亮区保留细节。
最后将增强后的 HV 图和 I 图按通道连接后,输入至 HVI 逆变换模块中(PHVIT),即可得到增亮后的 sRGB 图像。HVI 逆变换和训练时损失函数详见论文。
实验结果
表 1. LOL 基准测试结果
表 2. CIDNet 在 DICM, LIME, NPE, MEF, VV, Sony-Total-Dark, SICE 数据集上的结果
图 3. LOL 视觉效果对比
图 4. 五个非配对数据集上的定性实验结果对比
基准实验:首先是在十个数据集(LOLv1, LOLv2-real, LOLv2-synthetic, DICM, LIME, NPE, MEF, VV, Sony-Total-Dark, SICE)上的定量实验。如表 1 和表 2,在 LOL 数据集上,CIDNet 的 PSNR/SSIM/LPIPS 全面超越 SOTA 方法(如 RetinexFormer、GSAD),且保持 7.57GFLOPs 的较低运算量。在 Sony-Total-Dark 和 SICE 这两个大型数据集上也取得了最佳的指标。尤其是 Sony-Total-Dark,PSNR 22.90 dB(比第二名提升 6.68 dB)。
虽然 CIDNet 在五个非配对数据集上(DICM, LIME, NPE, MEF, VV)的 BRISQUE 指标不如 RetinexNet 方法,但是却比它更接近真实世界(如图 4)。
表 3. HVI 颜色空间在其它方法中的兼容性对比
跨方法兼容性:如表 3,将 HVI 变换作为预处理模块应用于其他 LLIE 方法(如 FourLIE、GSAD)后,平均 PSNR 提升 1.2~3.5dB,且 GSAD 方法结合 HVI 后,SSIM 与 LPIPS 均达到最佳效果。
表 4. 针对不同模块进行的消融实验
图 5. 颜色空间消融实验
图 6. CIDNet 模块消融实验
消融实验:如表 4,图 5,和图 6,消融实验表明,我们所提出的光强压缩函数,HS 极坐标化,和 CIDNet 的子模块均有效,获得了很好的定性与定量实验结果。
https://www.onefabergroup.com... (二维码自动识别)
表 5. LOL-Blur 基准测试结果
附加实验:如图 7 和表 5,在联合低光图像增强和去模糊 LOL-Blur 数据集上也取得了最先进的结果。(图 7 在知乎上偶尔会因为包含二维码而被隐藏,建议看原文中的图)
更多的视觉效果对比图详见附录。
总结
本文引入了 HVI 颜色空间和 CIDNet 方法,以解决当前基于 sRGB 的 LLIE 方法中出现的颜色偏差和亮度伪影问题。通过结合极化的 HS 映射和可学习的强度分量,HVI 对这两个问题表现出很强的鲁棒性。为了进一步增强 LLIE,CIDNet 被设计为在 HVI 空间中建模解耦的色度和强度信息,以实现不同光照条件下的精确光度调整。在 10 个数据集上的实验结果表明,HVI 颜色空间与 CIDNet 结合后,优于现有的最先进(SOTA)LLIE 方法,确立了其作为低光增强的稳健解决方案。
参考文献
[1] HVI: A New Color Space for Low-light Image Enhancement
END
作者:AI生成未来
来源:AIWalker
推荐阅读
- 面向真实场景图像复原,字节跳动提出扩散复原适配器,表现卓越!
- 英伟达提出首个 Mamba-Transformer 视觉骨干网络!打破精度/吞吐瓶颈
- 自回归视觉生成破局:Next-X 预测,开辟视觉新路径
- YOLOv12 来袭,更高性能、更快速度~
- 从文字到视觉:EvalMuse-40K 如何评价 T2I 模型的进化
本文章著作权归作者所有,任何形式的转载都请注明出处。更多动态滤波,图像质量,超分辨相关请关注我的专栏AIWalker。欢迎添加极术小姐姐微信(id:aijishu20)加入技术交流群,请备注研究方向。