本文作者关注DCNN在图像去噪领域所取得的极大的关注。然而，不同类型的深度学习方法在处理不同类型噪声时表现差异较大，比如基于判别学习的方法可以很好的处理高斯噪声；基于优化的深度学习方法可以有效的估计真实噪声。作者对图像去噪领域的深度学习方法进行了简要总结，首先，作者将其分为四大类：（1）用于处理加性白噪声的深度学习方法；（2）用于处理真实噪声的深度学习方法；（3）用于忙去噪的深度学习方法；（4）用于处理混合噪声（包含噪声、模糊、低分辨率等）的深度学习方法。然后，作者分析了不同深度学习方法的设计初衷与原则；其次，作者比较并验证了集中SOTA方法在公开去噪数据集上的定性与定量分析。最后，作者指出了几个潜在的挑战与研究方向。
首发知乎:https://zhuanlan.zhihu.com/p/107635056
文章作者: Happy
Foundation
本文主要关注基于监督学习的深度学习去噪方案，该过程可以描述为，给定成对训练数据, 通过建模并通过反向传播方式更新相应参数。
Neural Network for Image Denoising
神经网络是机器学习方法的基础，深度学习方法的基石。大多神经网络包含神经元、输入、激活函数（比如Sigmoid，Tanh等）、权重W以及偏置b。单层神经元的计算过程可以描述为：
下图给出了包含两层神经网络的结构示意图。
Hardware and software
深度学习成功的原因之一是GPU，它采用CUDA，OpenCL，Cudnn取得了极强的并行计算能力，超过CPU达10-30倍。深度学习成功的另外一个重要因素是软件，比如Caffe、Theano、MatConvNet、Tensorflow、Keras、Pytorch。
Deep Learning for Image Denoising
Additive white noisy-image denoising
由于真实噪声图像的缺失，往往采用加性白噪声（包含高斯、泊松、椒盐等）图像训练去噪模型。下表给出了适用于处理加性白噪声的深度学习方法。
去噪深度学习网络结构主要从以下几个方面进行改进：
- CNN多输入特征融合；
- 改变损失函数；
- 提升CNN的深度或宽度；
- 添加辅助部件到CNN；
- 为CNN引入跳过连接与集联操作。
Common Feature Extraction Method
Combination of Optim and CNNN
Real Noise
Blind Denoising
Hybrid Noisy
Experiments
Datasets
训练数据一般分为两类：灰度与彩色。
灰度训练数据一般包含：BSD400，Waterloo Exploration.;
彩色训练数据一般包含：BSD432,Waterloo Exploration, PolyU.
类似的，测试数据也分为两类：灰度与彩色。
灰度测试数据一般包含：Set12, BSD68;
彩色测试数据一般包含：CBSD68, Kodak24 McMaster, cc, DND,NC12, SIDD, Nam。
Results
为验证前述总结的深度去噪方法的性能，作者在Set12，BSD68，CBSD68，Kodak24，McMaster，DND，SIDD，Nam，cc以及NC12等数据集上进行了定性（视觉效果）与定量（PSNR）分析。
Discussion
去噪性能提升解决方向：
- 提升感受野以获取更多的上下文信息；
- 同时使用额外先验信息与CNN提升去噪性能；
- 组合全局和局部信息提升表达能力；
- 采用信号处理方法抑制噪声；
- 采用数据增广提升去噪模型对更多噪声类型的处理能力，提升模型的表达能力；
- 迁移学习、图模型以及NAS方法提升去噪性能；
- 改进硬件或者相机机制降低噪声。
提升去噪效率方面的潜在方向：
- 模型剪枝；
- 降低模型的深度或宽度；
- 采用小卷积核；
- 采用组卷积；
- 融合PCA等降维技术。
存在的挑战：
- 更深的网络需要更多的内存资源；
- 更深的网络可能存在训练不稳定性问题；
- 真实噪声图像不易获取，导致训练样本的不充分、不均衡；
- DCNN难以解决无监督去噪任务；
- 为图像去噪寻找更精确的度量准则。
Conclusion
通过归纳总结超200篇图像去噪领域的深度学习方法，本文主要贡献：
- 该总数介绍分析了深度学习方法在图像去噪领域的影响；
- 该综述总结了不同类型噪声的深度学习方法解决方案并分析了这些方法的动机与原则，同时从定量与定性方面对这些方法进行了评估；
- 该综述还指出了几个潜在挑战与研究方向。
推荐阅读：
本文章著作权归作者所有，任何形式的转载都请注明出处。更多动态滤波，图像质量，超分辨相关请关注我的专栏深度学习从入门到精通。
