转载自：计算机视觉工坊
编辑：农夫果园
摘要：
基于计算机视觉的金属材料表面缺陷检测是冶金工业领域的研究热点。在金属制造行业中，高标准的平面质量要求自动视觉检查系统及其算法的性能必须不断提高。本文基于对钢，铝，铜板和带钢的一些典型金属平面材料产品的160多种出版物的综述，试图对二维和三维表面缺陷检测技术进行全面的综述。根据算法的属性和图像特征，现有的二维方法分为四类：统计方法，光谱方法，模型方法和基于机器学习的方法。在三维数据采集的基础上，三维技术分为立体视觉，光度立体，激光扫描仪和结构化光测量方法。本文将分析和比较这些经典算法和新兴方法。最后，对视觉缺陷检测的剩余挑战和未来的研究趋势进行了讨论和预测。
研究背景：
金属平面材料（例如，钢，铝，铜板等）广泛用于汽车制造，桥梁建筑，航空航天和其他支柱产业，为现代社会发展和生活改善做出了巨大贡献。然而，在实际的工业生产过程中，加工设备的损坏或恶劣的工业环境不可避免地会导致金属平面材料产品出现某些质量问题。一些具有大面积或周期性特征的产品表面缺陷不仅影响后续生产，而且威胁终端产品的质量，给制造企业带来巨大的经济和声誉损失。表面缺陷区域的数量，程度和分布是决定工业金属平面材料质量的重要因素。基于振动声调制，无线传感技术和其他不同原理的损伤检测方法已经进行了很长时间的研究。但是，基于计算机视觉的表面缺陷检测方法具有成本低，操作简便，性能优越等优点，是在图像表面发现和定位异常区域的最常用方法。硬件设施的发展以及人工智能技术的不断发展，自动视觉检查（AVI）设备已逐渐成为工业制造商提高产品质量和生产效率的标准配置。
金属平面材料（例如钢，铝，铜板和带材）具有相似的外观特征，具有统一的质量要求，可以概括为“精确的尺寸，均匀的表面和光洁的表面”，这意味着板材的厚度和宽度应符合规定的精度要求，表面应清洁且无鳞，裂纹，划痕，辊痕和气泡等。金属平面材料表面的缺陷不仅会损坏平面产品的外观，而且可能成为应力集中的薄弱环节，成为破裂和腐蚀的根源。用于金属平面材料表面缺陷的检测设备应具有两个主要功能：缺陷检测和缺陷分类。前者的目的是在工业生产过程中在线准确地检测和定位缺陷，而无需识别缺陷的类型，以便工业现场可以根据缺陷的程度和频率调整相应的连铸/轧制设备，从而尽快控制相似缺陷的大量扩散，并有效避免质量问题造成的经济损失。同时，缺陷分类是识别和标记检测到的缺陷，以便最终产品的分级。分类精度直接由缺陷检测的精度决定；因此，检测系统的整体性能主要受到缺陷检测过程中各种算法的准确性，时间效率和鲁棒性的限制，这是本文的重点。
金属平面材料的在线表面缺陷检测在生产过程中面临以下严峻挑战：
（1）高表面反射率
钢，铝，铜带和其他极薄带的表面光滑，并且它们的高表面反射率易于带来较高的光影区域；然后，灰度值不一致的现象增加了错误边缘检测的可能性。
（2）伪缺陷干扰
伪缺陷（例如水滴，水布，雨水线，水雾以及在层流冷却过程中产生的其他实际缺陷）会导致检测设备频繁出现误报。
（3）随机弹性变形
由于连续的轧制设备振动，轧制速度差，侧导板异位，轧制速度波动，类大气湍流效应等原因，随机弹性变形会在电荷耦合器件（CCD）相机产生随机图像失真。
（4）海量图像数据
现实世界中生产线的高速，卷材更换的快节奏以及热轧机中对细微缺陷检测的需求，使得图像采集前端连续生成大量图像数据，其峰值速度高达5.12 Gbps ，这要求检测算法必须在检测精度，计算和可靠性之间达到良好的平衡。
在不同的工艺中，不同类型的工业设备的工艺操作使表面纹理有很大的差异，相应的金属板和带材也具有不同的检测难度。下图列出了金属平面材料的三个典型表面图像。左侧是无缺陷的图像，右侧显示了几个典型的缺陷或伪缺陷图像，例如鳞片，渣痕，裂纹，划痕，毛刺和连铸坯表面上的照明不均匀；在热轧带钢表面上有辊痕，划痕，夹渣，夹杂物，孔洞和氧化皮；冷轧带钢表面的酸洗，腐蚀，波纹，污点，凹坑和孔。这些图像都是使用线性阵列扫描CCD相机从现实世界的生产线上获取的。
研究内容：
以带状表面缺陷检测系统为例，其硬件框架主要由照明设备，CCD相机，图像处理计算机和服务器组成，其照明设备采用特殊的红外光源阵列。CCD线扫描摄像机组水平排列在带钢生产线上，水平和垂直可视范围相互重叠，以确保没有漏检。CCD摄像机收集的图像通过光纤传输到图像处理计算机组，以进行图像处理和图案识别。然后，将结果与生产线的相关信息一起发送到服务器数据库进行进一步处理，并生成各种现场生产信息统计报告。用户可以根据这些报告评估钢卷的质量等级，或者分析生产线异常的原因，从而实现对生产线的实时监控。下图显示了典型的工业带材表面缺陷检测系统。
在表面缺陷检测任务中，我们通常会根据统计结果对相关方法进行定量评估，可将其分为四类：真阳性（TP）表示检测到的实际缺陷为缺陷，真阴性（TN）表示检测到的缺陷。实际缺陷被错误地检测为背景，假阳性（FP）表示错误地将实际背景检测为缺陷，而假阴性（FN）表示将实际背景检测为背景。显然，在理想情况下，TP和FN越大，检测效果越好，而TN和FP越大，检测效果越差。因此，九个指标定义如下：
其中，G均值以组合的方式衡量这两类的准确性，而G均值越大意味着TPR和TNR越高，这也是缺陷检测应用程序的要求。另一方面，F-measure根据准确性和召回率评估缺陷检测的总体性能。
作者全面回顾了现有的金属平面材料表面缺陷检测方法的二维视觉技术和模型，并进行了讨论和展望，检测方法分类的总体结构。值得注意的是，近年来深度学习的快速发展改变了这种模式。基于深度学习的缺陷检测方法越来越多地应用于金属平面材料。因此，本文将金属平面材料的表面缺陷检测方法分为四类：传统的基于统计的方法，基于光谱的方法，基于模型的方法和新兴的基于机器学习的方法。
方法1基于统计的方法
从统计方法的角度来看，图像纹理被视为随机现象。统计方法通过测量像素空间分布的统计特性来研究像素强度的规则和周期性分布，以检测金属平面材料表面的缺陷。以下是对五个代表性统计方法的简要介绍，下表给出了这五个类别的几种典型方法的比较。
其中，边缘检测是一种检测被测图像中的灰度或结构突变的方法。缺陷区域和背景之间的灰度级差异导致边界处出现明显的边缘，可用于检测金属平面材料的表面缺陷。由于图像边缘像素的不连续性，研究人员通常采用局部图像微分技术来获取边缘检测算子，金属平面材料表面缺陷的常用边缘检测模板包括Prewitt，Sobel 和Canny 运算符，下图显示了在相同缺陷样本上这些原始运算符的检测结果。
这些模板也有自己的缺点，许多研究人员对其进行了优化，以获得更好的结果。下表列出了传统版本和优化版本，并简要比较了这些运算符的优缺点。
方法2 基于频谱的方法
在光照变化和伪缺陷干扰的情况下，许多统计方法都不可靠。幸运的是，研究人员发现图像在变换域中更有可能被分离出具有不同特征的信息，并且有可能找到比像素域中的直接处理方法更好的缺陷检测方法。下表总结了一些转换域方法，以下是这些类别的几种典型方法的比较。
其中，小波变换具有更强的自适应能力，非常符合人的视觉特征，它不仅可以定位时频窗口，而且可以根据窗口中心频率的变化自动修改窗口大小。下图显示了二维图像的二阶小波分解的示意图。
该二维图像从标度j +1分解为标度J，然后分解为标度J-1。小波分解的结果是将图像划分为子图像的集合。为了有效地从信号中提取信息并分析函数或信号，比例变换和移位运算已成为小波变换的显着优势。在实际的生产线中，由于诸如水滴，氧化物水垢，照明不均匀或不利环境等缺陷，金属板和带材的表面缺陷的检测越来越具有挑战性。
方法3 基于模型的方法
除了基于统计和频谱的方法外，还有一种基于模型的方法。基于模型的方法通过通过参数学习增强的特殊结构模型将图像块的原始纹理分布投影到低维分布，从而更好地检测各种缺陷。下表给出了这些类别的几种典型方法的比较。
方法4基于机器学习的方法
随着人工智能技术的飞速发展，广泛应用的机器学习在各个领域都取得了良好的效果。下表列出了几种典型方法。
机器学习的本质是分析和学习数据（特征），然后做出准确的决策或预测。2005年，Liu等人使用双层前馈神经网络将测试图像的像素点分类为有缺陷的和无缺陷的。该任务的基本思想实际上是根据是否存在缺陷二分，因此仍可以归类为缺陷检测。卷积神经网络（CNN）是当前基于监督方式最常用的深度学习网络。Chen等进行了裂缝检测 基于卷积神经网络（CNN）和朴素贝叶斯数据融合方案的NB-CNN。考虑到缺陷形状的多样性，Zhou等改进了快速R-CNN，选择了K-mean算法，根据“地面真相”的大小生成了锚框的长宽比，并将特征矩阵与不同的接收域融合在一起。该方法具有较好的微观缺陷检测能力，在光线变化时仍能准确地识别出缺陷类型，易于移植到实际工业应用中。随后，随着支持向量机（SVM）的发展和改进，这种值得称赞的支持数据二进制分类的广义线性分类器通常被广泛用于区分有缺陷和无缺陷区域。Ghorai等认为分类器在缺陷检测中的性能在很大程度上取决于特征和分类器的组合。因此，他们对不同的特征集（Haar，DB2，DB4）和不同的分类器（SVM和向量值正则化核函数逼近（VVRKFA））进行置换和组合，并观察缺陷检测结果。实验表明，具有第一级Haar特征的VVRKFA的性能在所有特征分类器组合中排名第一。与上述缺陷检测方法不同，He和Xu等颠倒了ROI提取和对象分类的一般顺序，他们提出了一个新的对象检测框架：分类优先级网络（CPN）。首先通过多组卷积神经网络（MG-CNN）对测试图像进行分类，然后输出更多的稀疏和合理的特征组。根据分类结果，CPN从可能包含缺陷的特征组中退回了缺陷边界框，并分别在钢板和钢带上进行了测试，检出率分别为94％和96％。然而，在现实世界的工业生产线中，收集和标记大量图像样本是不切实际的，并且所得图像样本更加未被标记。为了用少量的训练样本获得满意的结果，数据扩充以及迁移学习是训练网络的关键要素。例如，Yun等使用条件卷积变分自编码器（CCVAE）作为数据增强方法，并通过使用CCVAE学习给定缺陷数据的分布来生成各种缺陷图像。实验表明，在使用CCVAE进行数据增强的情况下，准确性可以从96.27％提高到99.69％，F值也可以从96.27％提高到99.71％。通过应用转移学习，Neuhauser等人使用在ImageNet上预训练的网络权重作为学习过程的初始权重；他们利用转移学习来加快培训过程，并提高检测挤压铝材缺陷的性能。迁移学习的基本前提是可以扩展网络的特征提取功能。如果源域和目标域之间的相似度不够，则结果将不理想。
结论：
从简单的二进制图像处理到高分辨率的多灰度图像处理，再到从一般的2D信息处理到3D视觉处理，机器视觉作为一门新兴且发展迅速的学科已从实验室研究转移到了实际应用。与以往不同，本文重点研究质量控制要求相似的平面金属材料，从二维和三维方面全面总结缺陷检测方法。本文总结了近30年来自动检测金属板和带材表面视觉缺陷的研究成果，其中大多数是近10年发表的。介绍并总结了工业金属平面材料表面缺陷检测的学习方法，理论探讨和应用发展。基于上述文献的启发和作者在开发表面缺陷检测系统中的经验，总结出该领域仍存在的挑战和研究建议。
（1）与其他基于计算机视觉的表面缺陷检测任务相比，在现实世界中的金属平面材料工业制造中，除了检测精度和计算效率之间的平衡外，更重要的是确保检测算法的稳定性，尤其是对环境变化的稳健性。此外，还必须具有检测缺陷多样性的能力，尤其是没有边缘特征的变形缺陷。
（2）算法的快速性和通用性是现实AVI系统应用中的两个关键问题。至于算法本身，与复杂的学习网络相比，在线表面缺陷检测作为一种无监督的实时检测任务，更倾向于使用轻量级算法，而机器学习或深度网络则更适合于处理复杂的网络。具有丰富数据集的多类分类问题（即缺陷分类）。就硬件而言，边缘计算的概念可以用于终端加速。例如，专用集成电路（ASIC），类似于现场可编程门阵列 （FPGA），可以放置在图像采集的前端以实时完成原始数据的预处理，以防止复杂的信息影响后续处理。
（3）噪声平滑和边缘增强是缺陷检测的重要预处理操作，应尽可能靠近成像的传感器侧进行布置。此外，检测系统最有效的去噪方法是通过一些可行的工程措施使图像尽可能清晰。例如，应在目标的透镜侧和表面侧安装鼓风机或离子气枪，以去除恶劣的工业环境在光学表面上产生的水滴，灰尘，纤维等，并提供光源应当在目标侧施加均匀，适度的亮度，以克服白天和晚上照明变化引起的光线不均匀的影响。另外，一些经济有效的冷却配置措施和成像设备的安全保护措施对于避免由高温和机械振动等恶劣环境引起的成像退化也具有重要意义。
（4）最新的机器学习技术提供了一种新方法来处理此数据不平衡问题。例如，GAN在生成缺陷样本方面取得了巨大的成功。为避免GAN中的可解释性差的问题，可以将其与强化学习联系起来，并且可以将GAN用于逆向强化学习和模拟学习，以提高强化学习的效率，图像和文本的转换能力以及机器的理解能力。由于研究人员在不同的数据集上使用不同的方法进行实验，因此很难公平地比较不同技术的检测性能。受生物识别领域研究的启发，构建一个丰富多样的金属平面材料表面缺陷数据库将是该领域的一项长期工作。
（5）金属平面材料表面缺陷的自动视觉检测应努力适应世界工业竞争格局的新调整，抢占未来工业竞争的制高点。应努力促进多种技术的深度集成和有机协作，研究金属平面材料的表面缺陷检测算法和方法。
备注：作者也是我们「3D视觉从入门到精通」特邀嘉宾：一个超干货的3D视觉学习社区
本文仅做学术分享，如有侵权，请联系删文。
推荐阅读
重点介绍：1、3D视觉算法；2、vslam算法;3、图像处理；4、深度学习;5、自动驾驶;6、技术干货。 博主及合伙人分别来国内自知名大厂、海康研究院，深研3D视觉、深度学习、图像处理、自动驾驶、目标检测、VSLAM算法等领域。
欢迎关注微信公众号
