【嘉德点评】华为发明的物体检测方法，通过构建跨域知识图谱，可以捕捉到不同待检测物体间的内在关系，从而更加精确的进行物体识别，在智能安防等复杂场景中有着极其重要的应用。
集微网消息，2020年10月，由华为技术有限公司主办、成都优普诚科技有限公司协办的“普惠AI，破浪前行”2020华为好望秋季品鉴会在成都首座万豪酒店成功举办，该会就机器视觉、智慧安防等领域展开了交流讨论。
其中华为的机器视觉技术尤其适合应用在智慧安防等领域，尤其是在AI技术的加持下，可以让安防变得更加的省心且智能。例如，物体检测就是一项基本的计算机视觉任务，它可以识别图像中物体的位置和类别。在实际应用中，研究员和工程师们会根据应用场景与实际任务需求的不同创建针对不同具体问题的数据集，用于训练高度定制化和独特的自动物体检测器。
而在智慧安防领域，物体检测也是非常重要的一个环节，在进行很多任务之前，首要的就是将待检测物体定位并进行类别识别。为此，华为在20年1月21日申请了一项名为“一种物体检测方法、装置以及存储介质”的发明专利（申请号：202010072238.0），申请人为华为技术有限公司。
该专利中发明的系统可以应用在大规模物体检测场景中，例如手机人脸识别、手机识别万物、无人车的感知系统、安防摄像头、社交网站照片物体识别、智能机器人等等。同时，由于这种物体检测方法在对物体进行检测时结合了跨域知识图谱，因此其物体检测效果会更好。
根据该专利目前公开的资料，让我们一起来看看这项物体检测方法吧。
如上图，为该专利中发明的系统架构的结构示意图，该架构中包括执行设备110、训练设备12、数据库130、客户设备140、数据存储系统150以及数据采集设备160。数据采集设备可以采集训练数据，并将数据存入数据库中，但是这种用于人工智能训练的数据需要进行人工标注。
训练设备可以根据训练数据训练出目标检测模型，当其他未知的图片由用户传递到计算模块时，就可以由目标模型来进行识别，从而得到物体的类别信息，并将物体的检测结果通过I/O接口呈现给客户设备。
如上图，为这种芯片的硬件结构图解，该芯片主要包括神经网络处理器，主CPU和外部存储器分别用于提供控制指令以及数据。配合系统架构图可知，这种芯片就是训练设备120中所使用的，可以完成训练设备的训练任务并输出物体的类型信息。
神经网络处理器NPU作为协处理器挂载到主中央处理器上，由主CPU分配任务，NPU的核心部分为运算电路303，控制器304控制运算电路提取存储器中的数据并进行运算。
我们知道在神经网络的计算中是需要大量的矩阵乘加运算的。举例来说，假设有输入矩阵A，权重矩阵B，输出矩阵C，运算电路从权重存储器中取矩阵B相应的数据，并缓存在运算电路中每一个PE上。运算电路从输入存储器中取矩阵A数据与矩阵B进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器中。
向量计算单元可以对运算电路的输出做进一步处理，如：向量乘、加、指数运算、对数运算以及大小比较等等，例如向量计算单元可以用于神经网络中非卷积的网络计算（池化、批归一化），这些结构则正是进行AI运算的基础。
如上图，为该专利中申请的物体检测方法的识别步骤的流程图，首先系统会获取待检测的图像，图像可以通过摄像头拍摄从街景等场合提取。接着确定待检测图像中的待检测物体的初始图像特征，这个步骤中，可以对整个图像进行卷积运算以得到整个图像的图像特征，然后再从整个图像的特征图中获取物体的初始图像特征。
接着根据跨域知识图谱信息来确定待检测物体的增强图像特征，这个跨域知识图谱信息包括不同域中待检测物体对应的物体类别之间的关联关系，增强图像特征指示不同域中与待检测物体相关联的其他物体对应的物体类别的语义信息，这种对应关系如下图所示。
从上图可以看到，这种对应关系即：两个类别在同一个图像中同时出现的概率越大，则认为两个类别之间有关联关系。上图的第一个域中的物体类别包括男人、女人、男孩、女孩和马路；街道第二个域中的物体类别包括人、手提包、书包、汽车和卡车。
我们认为第一个域中的男人、女人、男孩以及女孩与第二个域中的人之间具有关联关系，第一个域中的女人和女孩与第二个域中的手提包具有关联关系。这些关联信息是通过常识来推理出来的，这样的语义信息可以辅助进行图像检测的高级别信息。例如，待检测物体为女人，待检测图像中与女人相关联的其他物体包括手提包，那么，待检测物体的增强图像特征指示的可以是手提包的语义信息。
最后，我们再来看看这种物体检测方法的整体流程图，待检测图像可以先通过传统的物体检测器进行处理（例如Faster-RCNN网络结构），再提取初始候选区域的初始图像特征以及分类层的参数，并构建域内的区域图。
通过构建域内的区域图，利用域间图卷积网络传播节点上不同域下待检测物体的高级语义表示，得到经过推理推断后的融合了不同域下待检测物体高级语义表示的特征。最后将域内图卷积、域间图卷积经过推理推断后得到的特征投影到相应的待检测物体的高级语义表示中，并进行分类和回归，由此来得到待检测物体的位置信息以及类别信息。
以上就是华为发明的物体检测方法，通过构建跨域知识图谱，可以捕捉到不同待检测物体间的内在关系，由此来提高物体检测方法的效果。这种方法可以应用在复杂场景下，例如在商场以及商业街等区域，可以辅助安保人员对该区域的行人、物体进行检测，例如可以帮助寻找遗失物品以及进行可以物体检测等，有效提高城市安防能力！
关于嘉德
深圳市嘉德知识产权服务有限公司由曾在华为等世界500强企业工作多年的知识产权专家、律师、专利代理人组成，熟悉中欧美知识产权法律理论和实务，在全球知识产权申请、布局、诉讼、许可谈判、交易、运营、标准专利协同创造、专利池建设、展会知识产权、跨境电商知识产权、知识产权海关保护等方面拥有丰富的经验。
（校对/holly）
