作者：SFXiang
首发：AI算法修炼营
这是一篇关于手机玻璃表面缺陷检测的文章，由浙江大学发表。主要创新点在成像系统部分，大家可以借鉴参考。而在算法部分，采用的简单的Unet来改进的。由此看出，在工程项目中简单的网络就能实用，数据集是王道。
论文地址： https://www.mdpi.com/2076-3417/10/10/3621
近年来，基于机器视觉和机器学习技术的缺陷检测已引起了广泛的关注。深度学习非常适合此类分割和检测任务，并已成为一个有前途的研究领域。表面质量检查对于制造手机背面玻璃（MPBG）至关重要。由于制造技术的缺陷，会产生不同类型的缺陷。与普通的透明玻璃不同，丝网印刷玻璃具有完全不同的反射和散射特性，这意味着传统的暗场成像系统不适合此任务。同时，由于最小缺陷尺寸可以为0.005平方毫米，因此成像系统需要高分辨率。
本文根据丝网印刷玻璃的成像特点，提出了同轴明亮场（ coaxial bright-field，CBF）成像系统和低角度明亮场（low-angle bright-field，LABF）成像系统，并利用8K线扫描CMOS相机进行捕获分辨率为16,000 *8092的图像。CBF系统用于弱刮痕和变色缺陷检测，而LABF系统用于凹痕缺陷检测。同时，本文还基于U-net提出了一种由编码器和解码器结构组成的对称卷积神经网络，可以产生与原始输入图像相同大小的语义分割。同时，还捕获了10,000多个原始图像，并在玻璃表面缺陷数据集（GSDD）中手动标注了30,000多个缺陷和无缺陷图像。实验结果表明平均精度达到91％以上，平均召回率达到95％以上。因此，该方法非常适合丝网印刷手机背玻璃的表面缺陷检测。
简介
产品的质量控制在制造业中非常重要。传统的人工通过眼睛检查的方法通过需要训练有素的工人，并且总是耗时费力且效率低下，而且由于个人主观性，标准可能会有很大差异。在过去的几十年中，随着光学技术和计算机技术的发展，提出了许多用于表面缺陷检查任务的自动光学检查（AOI）解决方案。这种非接触式检查方法可以从根本上提高检查的准确性和效率，为生产提供指导，人工费用也可以大大减少。典型的缺陷检查系统主要由成像系统和图像处理算法组成。
相机可以是线扫描相机或矩阵相机，这取决于目标对象的大小、成像分辨率和成像效率等要求。dark-field成像系统通常用于光学表面缺陷检查系统，因为该成像系统仅接收光滑光学元件上缺陷的散射光。同时，由于在高对比度区域中的灵敏度， bright-field成像系统也广泛用于缺陷检测。当获得物体的图像时，下一步是图像处理，这对于整个系统至关重要。缺陷检测过程主要包括预处理，缺陷检测和分类。
随着工业4.0的逐步布局，潜在的从机器主导制造向数字制造的转变，缺陷检测任务需要更高的精度。基于深度卷积神经网络的深度学习在目标识别和图像分割任务上取得了重大突破。在经典的机器视觉检查方法中，对象的特征提取至关重要，因为经验丰富的机器视觉工程师会基于先验知识根据某些手动预定义的算法来设计或选择合适的特征。相反，深度卷积神经网络可以通过使用适当的网络提取足够的正样本和负样本来自动学习高级特征，而无需设计手工特征。尽管在工业表面检测领域有很多深度学习应用，但与其他领域（如面部识别和自然语言分析）相比还是存在一些局限性。不同的检测对象具有完全不同的成像属性，并且特定检测对象的公共可用图像数据集很少，这使得很难使用统一的方法来检测各种对象。
本文提出了一种用于丝网印刷手机背玻璃表面缺陷检测的AOI检测系统。与普通的透明玻璃不同，MPBG的表面背景复杂，质地更不均匀。对于成像系统和检测算法来说，这是一个更大的挑战。第一个重要部分是双明亮场成像系统。在不使用传统暗场成像系统的情况下，同轴明亮场（coaxial bright-field，CBF）成像系统和低角度明亮场（ low-angle bright-field ，LABF）成像系统被设计用于主要缺陷，例如刮擦，凹陷和变色。第二部分介绍了用于图像分割的对称卷积神经网络。在这里，人工标注了30,000多个图像，并将其用作Symmetry-Net的训练样本。
Imaging Capture System：成像系统
表面质量取决于检测对象的波纹度，粗糙度和微缺陷。由于最小缺陷尺寸为0.005 平方毫米，并且检测对象的尺寸大于150 * 60 mm，因此平面阵列相机仅凭单次拍摄就难以实现如此高的分辨率。为了提高成像效率，将线扫描相机应用于成像捕获系统。在普通透明玻璃的经典检测系统中，暗视场成像系统始终是首选，因为低角度光会照射在光滑的玻璃板上，而CMOS相机仅接受散射光，因为背景的散射光总是非常微弱。然而，当玻璃表面被墨水覆盖时，散射特性实际上是不同的，因为背景的散射光变得更强，从而给图像带来更多的噪声干扰，并导致较浅的划痕和凹痕缺陷的成像性能较差。
不同缺陷的成像特性可能会非常不同。为了获得丝网印刷手机后盖玻璃的高质量图像，本文采用了同轴明亮场成像系统和低角度明亮场成像系统。类型的成像系统捕获反射光，而借助CBF系统中关键的光学元件光束分束器，反射光的方向与入射光的方向相反，如图1所示。在CBF中，可以获得较高的浅划痕缺陷和变色缺陷的对比度图像，而在LABF系统中，凹痕缺陷的成像质量较高。 低角度是指入射光的方向与X轴的方向之间的角度小。
利用两个8K线扫描CMOS相机以CMOS传感器的单位单元尺寸为7.04μm×7.04μm捕获图像。成像系统固定在传输系统上方，为避免入射光源相互干扰，CBF系统的焦点位置与LABF系统的焦点位置相距约30 mm。
具有高方差值的普通划痕缺陷很容易获得。但是，有时会有一些划痕缺陷，其深度小于50 nm。浅缺陷太弱而无法在暗场成像系统中检测到。 如图2所示，CBF系统图像的平均灰度值高于LABF。如图2c所示，浅划痕缺陷区域在CBF系统中具有较高的方差值。
凹痕缺陷是由表面不规则波纹产生的。如图3c所示，在LABF系统中，凹痕缺陷区域具有更高的方差值。
变色缺陷是由不均匀的丝网印刷产生的。如图4c所示，在CBF系统中，变色缺陷的区域具有更高的方差值。
如图5所示，显示了典型的缺陷图像和相应的ground truth情况标注。可以看出，由于各种结构，MPBG的表面包含各种缺陷，其背景不均匀分布。浅刮痕的对比度可能非常低，并且凹痕的尺寸可以非常小，而变色的尺寸可以非常大。 由于生产的波动，也可能会出现一些无瑕疵的随机斑点，因为有时由于生产环境缺乏足够的无尘防护，MPBG的表面会出现灰尘和纤维。
Glass Surface Defect Dataset (GSDD)
图像处理是表面缺陷检查中最重要和最具挑战性的部分，缺陷通常比周围背景更暗或更亮，可能存在伪劣的缺陷，例如灰尘，图像质量也会受到照明不均匀和纹理复杂的影响。缺陷检测的目标是找到一种准确，高效且灵活的检测方法来满足生产要求。传统的缺陷检测步骤包括背景校正，对比度增强，成像滤波，形态学运算，分割，特征提取和分类。所有功能和阈值必须由经验丰富的工程师手工制作。基于学习的分类器（例如决策树，SVM或随机森林）始终用于缺陷分类。当检测系统必须适应某些不同的产品时，它不够灵活且通用性不足，开发周期也可能很长。经典的机器视觉方法足以完成一些不太复杂的任务，但是对于纹理分布不均匀且过渡区域上的随机斑点无缺陷的图像而言，这是一个很大的挑战，这会实质上增加误识别率。深度学习方法比经典的缺陷检测技术更强大，而图像数据集对于深度学习方法至关重要。
分割任务的目标是计算目标图像的像素化标签。原始图像大小为16000*8092,包含玻璃信息的图像分辨率为13567*6548,直接对这么高的分辨率的图像进行标注和训练是不现实的,因此,从玻璃图像中提取276张大小为600*600的图像作为训练样本,如图6所示。
将相邻的子图像按一定的重叠区域进行切割,并对原图像的边界区域进行镜像扩展。当获得每个子图像的缺陷时，可以很容易地获得原始图像上缺陷的坐标分布，相邻的缺陷将根据坐标分布进行合并，从而减少图像切割造成的误差。在实际生产中，单幅原始图像中的缺陷数量总是非常少。为了获得足够的缺陷图像，CBF系统和LABF系统采集了1万多个玻璃样品。玻璃表面缺陷数据集(GSDD)由34550张图像组成，其中正样本6742张，负样本27808张，每张正样本至少包含一个缺陷，缺陷类型主要包括划痕、凹陷和变色。 对于每张图像，利用LabelMe标注工具提供一个像素级的标注掩码。
Segmentation Model Architecture：分割模型架构
图7展示了分割网络的架构，该架构由编码器和解码器组成。它是基于U-Net的改进的对称网络。特征图的大小在编码器和解码器的pipline中或多或少对称。该网络由3×3和5×5卷积层组成，每个卷积层都带有ReLu和批量归一化BN。2×2 Max pooling最大池化层用于下采样，而不是大步长的卷积，从而确保了详细信息在下采样过程中仍然有效。
网络的目标是平衡对所有类型缺陷的检测。最大池化下采样层和较大的卷积核大小会显着增加感受野的大小。但是，下采样会导致丢失准确的空间信息。为了获得高分辨率特征，使用了通过2×2反卷积对特征图进行上采样，从而将特征通道的数量减少了一半。
损失函数：
首先考虑原始的交叉熵损失函数：
网络可以在相对统一的区域迅速获得良好的性能。但是，边缘区域不均匀的分割效果不是很好。因此，引入了基于局部方差信息的权重图，使得纹理较复杂的区域将具有较高的权重值。局部方差表示为：
权重图表示为：
因此，损失函数改进为：
实验与结果
训练细节： 输入图像的大小为600×600，两张2080Ti
评价指标： 准确率、召回率
1、结果展示
图8显示了基于经典机器视觉方法和本文所提出的深度学习方法的分割结果。在（a）、（b）所示的绿色虚线框中获取的凹痕，变色和划痕缺陷图像，和（c）分别是基于经典机器视觉方法和提出的方法的碎片结果样本，红色方框中显示了由于缺陷而被误判的无瑕疵斑点。深度学习分段结果是热图，表示属于缺陷的像素的概率，经典分段结果是二值图像。对于图8（a1）的凹痕缺陷图像，背景分布均匀且方差高，经典方法取得了良好的性能。图8（a2）中有两个划痕，其中一个划痕非常明显，而另一个划痕看起来非常明显弱。很难检测到这种低对比度的缺陷，因为较低的阈值可能会增加经典方法中的错误判断。如图8（a3）所示，无缺陷的随机斑点可能被误认为是缺陷。MPBG包含2.5D弧形边缘，这将导致纹理分布不均匀并导致经典方法中的错误判断。对于图8（a4）中的变色缺陷，由于缺陷的其余区域具有较低的方差值，因此仅检测到缺陷的一小部分。检测结果表明，深度学习方法可以提取不均匀分布纹理中的缺陷。可以看出，所提出的方法优于经典方法。
图9和图10显示了基于所提出的方法对三种类型的缺陷和背景的检测结果。图9显示了划痕缺陷的分割结果，其中划痕可能出现在玻璃的任何长度和长度不同的地方。灰度和弱浅缺陷可以很容易地检测到。凹痕缺陷检测是传统机器视觉方法中最具挑战性的任务，因为它的尺寸很小，如图9所示，另一个原因是存在微小的灰尘颗粒，这些灰尘颗粒的形状就像一些凹痕缺陷一样呈点状。 所提出的方法可以从本质上降低灰尘颗粒的误判率。变色的特征在于它表现出各种形状和图案，包括点形状，曲线形状或不规则形状，如图10所示。实验结果表明，该方法可以自动提取高级特征以检测此类缺陷。
2、对比实验
本文提出的深度学习方法优于传统方法。传统的分割方法主要由背景校正，图像滤波和形态学运算组成。经测试实验验证，使用了10,000多个图像样本，传统机器视觉方法和建议的深度学习方法的检查结果列于表1。该方法的性能明显更好，精度更高，并且可以消除凹痕，划痕的缺陷。和变色。同时，传统方法的平均精度为85.2％，而所提深度学习方法的平均精度为91.8％。该方法的平均召回率比传统方法高4.6％。变色的尺寸较大，方差值较大，因此变色的检查性能明显优于其他缺陷。由于不可避免的灰尘颗粒，凹痕缺陷的召回率最低，检测结果也比人工检查结果好。
更多实验细节，可以参考原文。
推荐阅读
- CVPR2020 | 将影子和它对应的物体实例一起分割，还附带光源方向预测
- CVPR2020 | MAL：联合解决目标检测中的定位与分类问题，自动选择最佳anchor
- CVPR2020 | 即插即用！将双边超分辨率用于语义分割网络，提升图像分辨率的有效策略
- DeepMark++: 详细解读基于CenterNet的服装检测
更多机器学习、深度学习、计算机视觉、自动驾驶、机器人等领域最新最前沿的科技请关注微信号AI算法修炼营。
