【嘉勤点评】墨芯发明的利用激活稀疏化的神经网络加速和嵌入压缩方案，利用正则化项增强了DNN现有训练目标函数，促进神经元的稀疏激活，并利用各种算法来解决优化问题来对DNN进行压缩。同时利用稀疏化使算术运算的次数成比例地减少，以构建高效的搜索引擎。
集微网消息，深度神经网络（DNN）已成为人工智能（AI）领域中用于从较低级别的数据中提取高级信息的使用最广泛的方法。但是，DNN昂贵的计算成本阻碍了其在能耗、存储空间或时延容忍性方面预算更紧的应用中的使用，尤其是在诸如移动电话和监控摄像头之类的边缘设备上的使用。
DNN的计算成本来自多种来源。首先，DNN模型参数通常约为数百万或数千万，导致巨大的存储成本，并阻碍模型参数置于存储器层级中更小但速度更快的存储设备上。其次，DNN的计算图中神经元的数量会占用大量存储器空间，并且在运行时通常需要进行数十亿次算术运算。第三，基于由神经网络生成的矢量表示的搜索引擎通常比传统的基于文本的搜索引擎运算成本高得多，这一部分是由于DNN产生的高维密集矢量表示所导致的。
近年来，正在进行的研究工作集中在降低DNN推理的计算成本上。但是，其中一些常规方法致力于修整DNN模型，包括减少DNN滤波器中非零参数（神经元之间的连接）的数量、修整网络的一些部分，例如神经元的通道或滤波器的列和行以及将参数和神经元的值范围量化，以减少用于表示这些值的位数。
为了探寻一种降低高计算强度的更有效的DNN模型，墨芯在2019年6月21日申请了一项名为“利用激活稀疏化的神经网络加速和嵌入压缩系统和方法”的发明专利（申请号：201980054375.7），申请人为墨芯人工智能有限公司。
根据该专利目前公开的相关资料，让我们一起来看看这项技术方案吧。
如上图，为该专利中发明的激活压缩器的整体软件架构的系统示意图，激活压缩器100包括网络模块110、损失函数模块120、激活正则化项模块130、数据读取器模块140、优化器模块150以及合成器模块160。
网络模型模块包括初等运算的集合和相应的导数，并且包括由初等函数组成的复函数（即DNN）。另外，网络模型模块还包括使复函数参数化的变量的集合，复函数被模块化为若干层，其中每一层都将先前层的输出作为输入并计算一组新的输出，网络模型模块计算神经元的激活值以及预测值的计算。
损失函数模块可以提供测量预测值与地面真值答案之间的差异的惩罚值的定义和计算，该模块还会计算惩罚值相对于预测值的导数。激活正则化项模块为通过最小化可以使网络中活动的神经元的数量稀疏化的神经元来提供测量网络中，所有神经元的激活水平的惩罚值的定义和计算。
数据读取器模块包括用于从数据源获得DNN的输入数据的流水线。流水线包括裁剪、二次采样、批处理以及白化。优化器模块为调整网络模型中的变量的值，以便减少包括损失函数和激活正则化项的目标函数。合成器是该系统中的高级部件，其计划和组织其他部件之间的数据交互，并确定损失函数和激活正则化项之间的相对强度。
如上图，为该专利中展示的激活压缩器的输入和输出的流程图，此流程有两个输入，分别为：用于DNN的正确“输入‑输出”对的训练数据集，其用于测量和改进DNN在特定损失函数的特定任务上的预测性能；以及通过预训练的深度神经网络架构。
其次，通过激活压缩器使DNN迭代地稀疏化，直到收敛为止。最后，由压缩方法生成具有架构相同但参数值不同的压缩DNN的输出，压缩方法可以对DNN进行压缩，以使其具有稀疏的激活参数，并且每一层的非零元素的数量很小。
如上图，为上述激活压缩器运行时的流程示意图，压缩过程在步骤320的梯度评估和步骤330的参数更新之间交替，直到满足优化器的终止标准为止，即基于预定阈值的目标变化或梯度大小足够小。
接着，压缩过程通过经由网络模型和数据读取器的反向传播来评估目标的梯度。压缩过程针对所有参数来计算的导数，并且在步骤330中，参数更新根据所获得的梯度和由优化器确定的更新等式来改变的值。最后，通过激活压缩器来确定目标是否已经收敛，如果目标尚未收敛，则激活压缩器继续通过步骤320的梯度评估和步骤330的参数的处理来使DNN迭代地稀疏化。
最后，如上图，为该专利中展示的激活压缩器系统的商业应用的示意图，上述应用为面部识别应用，其中激活压缩器减少了通过DNN生成面部的语义嵌入所需的算术运算的次数。通过两个这样的面部嵌入之间的相似度，可以区分两个图像是否包含同一个人。
以上就是墨芯发明的利用激活稀疏化的神经网络加速和嵌入压缩方案，该方案利用正则化项增强了DNN现有训练目标函数，促进神经元的稀疏激活，并利用各种算法来解决优化问题来对DNN进行压缩。同时利用稀疏化使算术运算的次数成比例地减少，以构建高效的搜索引擎。
