来源：腾讯技术工程微信号
作者：赵建春
2020年8月7日-9日，第五届CCF-GAIR全球人工智能与机器人峰会于上周五正式在深圳开幕。
CCF-GAIR 2020将延续过去的强大阵容，在新基建机遇下，CCF-GAIR 2020 设立了 15 个主题专场。
在工业互联网专场，腾讯云副总裁赵建春发表了题为《腾讯云人工智能在工业互联网领域的实践》的主题演讲。
以下为演讲实录：
各位朋友大家下午好，非常荣幸能够在这里和大家分享一下腾讯云人工智能在工业互联网领域的案例和实践。
人工智能的概念是在1956年提出来的，到现在已经有60多年的历史，期间经历过几次的高潮和低谷，最近20年可以说是人工智能快速发展的20年，主要是受互联网、移动互联网的需求驱动，尤其是移动互联网。人工智能在消费互联网里面积累了丰富的经验，现在开始走入到产业互联网和工业里面来了。腾讯今年正好是22年，比较完整经历了互联网和移动互联网的年代，在内部也积累了非常多的人工智能的经验，同时，形成了腾讯AI Lab、腾讯优图、微信人工智能实验室，现在也依托腾讯云把这些实验室积累的人工智能的能力向产业界进行输出。尤其是优图实验室，因为它隶属于云与智慧产业事业群，它更是这个能力输出的排头兵。
由于咱们论坛是工业互联网论坛，我介绍一下腾讯云工业产品的整体架构，在底层是大家熟悉的IaaS平台、物联网平台和5G的基础能力。之上是四大基座：大数据基座、工业业务基座、工业营销基座和工业智能基座。往上是支撑服务生态的产品和生态，包括工业生态能力、行业定制，生态集成，去共同支撑为区域企业提供数字化解决方案的平台，目前在全国落地了8家。还有项目牵引和基座做的泛工业解决方案。
再看看工业智能基座，底层也是我们的基础云，之上是基础服务产品、大数据能力、AI能力、引擎、计算机语言识别、自然语言处理。往上做应用服务产品，包括腾讯云人工智能服务平台、智能对话平台、数据资产管理平台等等。向上会做各种单向的应用，比如说人脸核身、文字识别、人脸识别和图像识别等。更上面是行业解决方案，比如说智慧工业、智慧交通等等。
基于这些能力，在过去几年腾讯云尝试非常多的工业领域的AI应用，有很多的收获，也有不少的教训，最大的感受是落地工业AI是挑战和机遇并存的，大家可以看一下，就不一一念了，如果大家做这个领域的事情时就会有同样的感触，大家可以看一下是不是有同样的感触，现在给大家介绍一些腾讯在工业AI领域的实践具体案例。
首先来看一下我们和合作伙伴给华星光电做的ADC自动缺陷检测项目，这个项目的背景是这样的，华星光电是深圳建市以来，单笔投资最大的工业项目，达到443亿的投资，我们需要在7×24小时的不停摆产线中嵌入AI系统运行，这个系统是不能停摆的，否则会造成比较大的经济损失。产线在每个工序之后，需要对生产出来的基板进行显微拍照和分类，分类之后进行修复和丢弃。如果是有残次的面板，进入下一个环节，产生成品的时候，残次品就会造成更大的经济损失。之前质量检测是人工进行的，每个工人每天要检测超过1万张照片，而且是小黑屋看电脑，很枯燥，检测面临着人力需求大、培训上岗周期长（2-3个月），离职率达到20-30%。人员准确率会受经验影响和误判的可能性。
华星光电从立项到真正交付使用达到可靠的标准，经过了比较长的时间，并不像想象中那么顺利，前后经过了一年多的时间。之所以这样，是我们的工程师需要对这个领域的知识和缺陷进行学习和理解；工厂需要给我们提供大量的样本数据，并且工人用的额外时间对样品进行打标和分类，花了很多的时间，经过很多次的交互；图片处理也不像之前想象的用深度学习分类一下就好，主要还是分类的样本很少、分类不足、部分分类少、分类不准的问题。实际环境还有图片倾斜、尺寸偏差、颜色偏差的问题，这些问题之下，需要进行缺陷的定位，然后对缺陷进行分类，分类的同时还要判断缺陷对液晶面板造成的金属相交和断线的问题，这些都是因为要在核心系统里面嵌入自动化的系统替代人工。
整体的方案就是如此，电路板因为保密的因素只截了很小部分。主要框架是这样，图片先做倾斜校正、尺寸、颜色校正、再用深学习分类，同时，通过金属切片的模板抠图来做电路板的相交和电路分析。首先是缩放校正和尺寸校正，前面的图可以看出有大量的水平或垂直线，先用LDS筛选长线段做倾斜角度的估计然后进行倾斜的校正，校正完之后会再检测长水平线和竖直水平线，并对水平和垂直方向上的直线做聚合，找出最大间距，以此进行判断，然后进行缩放的校正。同时，由于生产环境和相机参数的问题，同一个生产环节的照片和颜色的差异，同时，由于时间和人力的限制，训练极的颜色和实际生产的颜色也有比较大的偏差，在推理之前，会对图片进行RGB均值聚类，之后再推送到分割网当中去。大部分图片是黄褐色和棕色，少量呈现红色，如果把训练数据仅包括1和3的黄绿色图片，生产环境当中存在24这样的总褐色图片，表现是很不理想的。
在图像的校正完之后，下一步就是缺陷的定位，由于之前的样本数量比较少，同时存在小样本覆盖的问题，所以采用了周期对比+语义分割+深度学习的方式，因为面板存在着大量的重复性周期，对于超过3个重复性周期就采用重复对比的方式，选定一个区域的像素，比相同周期的象素过大或者是过小，这个点就是缺陷点。这个方法好处是准确性比较高，不足是周期性比较少的区域和边缘区域效果不太好，对于周期性比较小、边缘区域就采用标准语义分割的方式进行象素的聚类，之后分类，再找到缺陷。好处是比较简单，不足是需要大量的标注，标注的区域比实际的缺陷要大，因为人的标注比实际标注大一点。
做完缺陷定位之后就进行深度学习的分类，我们可以看到深度学习网络分类之后，再投射到二维镜面，这是分类的花瓣图。同时，在项目中，客户不仅关心面板上的缺陷类型，他还关心这个缺陷对于电路造成的影响，比如说缺陷落在金属上，导致金属断路。金属残留落到金属上，可能会造成金属的短路。所以，我们对金属面板抠图模板的分析，这是金属器件的模板。我们用金属残留和线路进行相关性的获取，比如说第一个是金属残留，进行相交操作的时候，发现它和两个金属线都有交集，这样我们就能判断这个金属残留对于电路造成的短路影响。第二个金属残留和这两条线进行交集时，发现它并没有交集，就说明它对电路不造成影响。虽然有金属残留，但是不影响电路板的性能。还有残缺，残缺和金属线相交之后，发现了断路，造成断路影响。还有一种更复杂的情况，这些金属是成组的，这一排是互相连接的，有金属落在上面不产生短路，但是上下两排相交会造成短路。
华星光电项目初期很多工作是独立实现的，效率比较低，最终项目交付之后，总结项目经验，打造工业平台，封装数据、任务管理、微服务、容器化等的服务，用可视化、拖拽式来管理，大大提高工作效率。现在模型训练和调优至少提升60%的效率。项目上的周期也缩短到了“周”的级别。
这个项目意义还是蛮重大的，首先它是目前为止国内最大规模的工业AI质检项目，也是首个应用到核心工作生产环节的项目，并不是辅助项目，而是直接在核心环节的项目。质检覆盖率超过80%，同时，每年为客户节省成本超千万元。检测速度比之前的人提升5-10倍，分类准确率接近90%高于人工的80%。相比人工质检有更高的稳定性和扩展性，因为人的产能快速提升，质检的工作很难跟得上。
相比液晶面板这样的高度自动化的产线的情况，在机械装备业、制造业，对现场工人的依赖更加的明显。我们来看某大型客机公司的效率优化项目。这是我们和合作伙伴一起为空客做的项目，空客做客机装配时，它有800多万个零件，由好多个工人装配数月，这个装配不像咱之前想象的是汽车的高度自动化的，它也很自动化，但是还是有大量的人工装配过程。我们就和合作伙伴通过分析装配车间的摄像头、拍照视频，对图像识别技术对现场工人匿名分析，分析非常频繁的路径、路径和装配的货位之间的关系进行合理的分析。
基于人体识别和轨迹追踪的视觉算法，为生产管理和优化提供可视化的数据，为人员提供可视化的统计、为工序货位提供可靠依据，同时依靠电子围栏，划定安全的生产区域，防止出现这样的安全生产的问题。下面是人员优化的工效可视图，蓝色的是有效的工作时间，灰色的是无效工作时间。如果说把蓝色的柱状图有明显的提高，其实这个装配效率会有大大提升，同时，也会带来很明显的经济效益。
下面是常见的设备维护性的项目，是落地的案例。在工业里面的炼油、煤矿焦化都是流程性的行业，单个设备、核心设备价值很高，同时，产品比较单一，需要通过大规模的生产来保证规模化的效应，同时需要连续的生产来保持利润。如果一旦核心设备产生故障就会造成非常大的损失。2011年的时候某国有煤矿企业一个齿轮机的损坏，造成了一个月的非计划性停产，导致5.9亿产值的经济损失。因此，保证核心设备的健康运行，及时发现故障是非常非常重要的。
我们为某煤矿企业做了煤矿的皮带机的预测性维护，通过信号采集、干草堆现象分析、包络解调、特征信号识别等手段确定轴承外圈损伤，我们给出预计剩余寿命10个月，建议企业提前进行采购，这样就避免了超亿元的损失。
腾讯也打造了设备健康管理，借助智能诊断算法可以发现设备早期的故障，结合小程序助手来帮助企业从容面对故障维修。这是现在的小程序，你可以进行设备故障的监控，监控出现异常的及时上报，在线进行维修会签、审批、维修，最终来完成闭环的流程。
现在我们也支持齿轮箱、电机、振动筛、空压机、煤磨、泵、风机、辊压机、液耦等等。还有这些品类和品牌，并不断的扩充当中。
下面看能源行业知识图谱项目，能源行业数据量大、经验分散，同时基础的监控、测量数据上报非常大量，同时在运维现场时，资料查询、异常发生相似度搜索、辅助诊断和辅助决策一直是比较大的挑战，为此我们通过结合物联网进行数据采集、和基础数据的采集，共同打造了物联认知大脑，结合图神经网络、业务算法模型来共同做设备运行状态的感知。线网运行风险预测、设备故障告警的判断、检修自动生成，设备智能监控、设备知识查询、智能调度和智能医生等等。
这个系统不仅仅可以能源行业应用，只是我们先应用在了能源行业。在电力系统里面我们已经多次的进行了应用，当异常的时候，大脑可以进行搜索，搜索当前的设备在历史上的运行状态，可以数十倍提升诊断效率。就像医生看病一样，出现故障时，医生可以通过历史上很多不能说的经验，而找到这样的相似案例，大大提高效率。
下面是工业AI视觉巡检案例，工厂的规范，安全生产是制造业行业非常重要的工作，以前是靠各种流程规范和约束，以及人员进行巡检、抽检保障，现在结合AI的机器技术，通过图像采集，对数据进行标注、训练、封装，通过数据BI的展现，还有联动告警平台，很好解决安全生产的问题，并且协同实现联动告警、联动人员绩效考核、联动应急指挥、联动门禁和禁区管理等等的工作。这个是我们联合合作伙伴为某大型家电制造企业打造的AI视觉巡检的项目，大家可以看到工人正在施工做产线的工作，底下就会自动发现没有按照标准规范操作的异常操作，及时的进行提醒，右边是定义的规范操作，1234都有标准的操作，如果没有按照规范操作，就会进行相应的联动处理、报警。
由于时间的关系，我们还做了很多和工业AI相关的尝试没有办法一一向大家介绍，后面的四个项目也只是简单地介绍了一下，工业领域的AI项目很多都是刚刚起步，行业知识多且深、跨界人才少，AI介入核心环节困难重重，但当我们解决一个问题之后就像爬过一座山峰，回头看的时候，爬过的辛劳和困难都已经成为过去，不再痛苦，并且成为宝贵经验。向前看的时候，正因为我们解决了具体的困难和问题，我们可以到新的不同的地方，比如说湖、岛和森林，有了更多的可能，比如华星光电就从原来有人工中断的过程变成更加全自动的过程。
因此，腾讯云也希望和您一起越过一个个山峰，共同遇见更多美好和可能。这里的您有两个意思，一是我们希望有更多工业AI领域的合作伙伴和我们合作，去一起打造垂直领域的人工智能解决方案。工业领域的行业知识非常深，腾讯很难深入到每个行业，所以，就需要合作伙伴和我们一起来打造这个行业的解决方案。另外，我们希望有更多的工厂、企业愿意把自己的生产环境当中想用智能化解决的问题交给腾讯，让腾讯和腾讯的合作伙伴一起来解决，帮助企业和工厂来实现智慧工厂，智能制造的能力。
好，这是我今天的分享，谢谢大家。
推荐阅读：
更多腾讯AI相关技术干货，请关注专栏腾讯技术工程
