集微网 · 2021年05月13日

【专利解密】百度AI芯片运算方案实现按需动态分配计算资源

【嘉勤点评】百度发明的人工智能芯片计算方案,根据不同的计算数据为计算模块分配不同的硬件资源,从而在保证运算效率的同时,使得芯片的设计可以动态地适应不同的应用场景,并且实现可动态配置参数的效果。

集微网消息,近年来,以深度学习技术为代表的人工智能(AI)已经被广泛地应用于各个领域,例如语音处理、图像处理、自然语言处理、视频处理、自动控制等。这些技术对人们的生活方式产生了深远的影响,而随着人工智能技术的进一步发展,人们对于人工智能的水平的期待也越来越高。

目前,人工智能的比较依赖深度学习的发展,而深度学习技术对计算能力有非常高的要求。由于性能、成本和功耗等各方面的限制,传统的处理器很难满足深度学习的要求。因此,在这种背景下,为了应对量级增长的算力需求,百度发明了昆仑AI芯片。

昆仑AI芯片具有高效、低成本和易用三大特征,其针对语音、NLP、图像等专门优化,同等性能下成本降低10倍,支持paddle等多个深度学习框架、编程灵活度高、灵活支持训练和预测。

尽管AI芯片的设计初具成效,但是如何设计软件和硬件深度结合的高性能AI芯片,例如,图形处理器(GPU)、专用集成电路(ASIC)等,以满足深度学习技术的要求,依旧是当前所需要解决的一个关键的问题。

为此,百度在2019年6月26日申请了一项名为“生成基于芯片的计算功能的方法、装置、设备和存储介质”的发明专利(申请号:201910559200.3),申请人为北京百度网讯科技有限公司。在该专利中,发明了一种可以根据不同的运算数据动态分配硬件资源的方案。

根据目前公开的相关资料,让我们一起来看看这项AI芯片的计算方案吧。
image

如上图,为该专利中发明的用于生成基于芯片的计算功能的方案示意图,芯片的计算功能主要依赖于计算设备130,计算设备在进行计算时可以从位于计算设备内部的候选计算功能模块130来获取具有计算功能的计算模板。例如在实现向量乘法时,候选计算功能模板会提供实现向量乘法的计算功能模块。

计算设备从110中接收外界传入的输入参数值,根据输入的数据和获取的候选计算功能模板来确定该输入参数值的目标计算功能模板140,从而可以进行数据的运算,实现芯片的计算功能。

image

如上图,为用于生成基于芯片的计算功能的方法流程图,可以看到,计算设备首先获取与芯片支持的计算功能相关联的输入参数值110,一般来说,深度学习芯片支持的运算包括卷积运算、各种数值运算、字符运算、矩阵运算、向量运算以及加密解密等。

而输入参数值可以对计算功能待实现的运算规模进行标识,例如在实现矩阵运算时,输入参数值可以对矩阵的规模进行标识,这样不仅可以使得这种计算方法可以较为灵活地应用到各种运算规模下,还可以使得计算功能更加适合特定的应用场景。

之后,每个计算功能可以获取不同的计算功能模板,根据输入参数值的运算规模大小,为该运算分配不同的硬件资源,例如分块大小、分段大小、线程数、进程数、寄存器数量以及存储器数量等。这样可以让芯片表现出不同的执行性能,根据任务的规模进行按需分配,从而在执行低层次的程序设计语言(例如汇编语言)等时可以更好地与底层硬件交互,而在执行高层次程序设计语言时,可以发挥出更高的性能。

以上就是百度发明的人工智能芯片的计算方案,该技术可以根据不同的计算数据为计算模块分配不同的硬件资源,从而在保证运算效率的同时,可以使得芯片的设计可以动态地适应不同的应用场景,并且实现可配置参数的动态效果,极大地简化了人工智能芯片实现计算功能的难度。

关于嘉勤

image

深圳市嘉勤知识产权代理有限公司由曾在华为等世界500强企业工作多年的知识产权专家、律师、专利代理人组成,熟悉中欧美知识产权法律理论和实务,在全球知识产权申请、布局、诉讼、许可谈判、交易、运营、标准专利协同创造、专利池建设、展会知识产权、跨境电商知识产权、知识产权海关保护等方面拥有丰富的经验。

(校对/holly)

推荐阅读
关注数
12747
内容数
1029
从专利出发,浅析一切关于柔性屏、折叠屏、10倍光学变焦技术等有趣的前沿技术
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息