《智能时代:大数据与智能革命重新定义未来》中预言,传统的行业都将采用智能技术实现升级换代,也会改变原有的商业模式。的确,在近两年人工智能在应用端的创新如雨后春笋,无人驾驶、智能推荐等AI应用已经成为现实。
但同时,我们也发现AI的落地场景大都源于资本密集型的行业,这并不符合AI普惠,服务于产业智能化的背景。
实际上,现在阻碍AI产业发展的既不是算法也不是算力,而是如何更好将AI的能力转化成工程手段。除了人所共知的自动驾驶等核心应用场景,还有大量的工程领域,千行百业的复杂场景,各种各样的终端设备,需要AI技术的辅助。
最近在极术社区(aijishu.com)读到一本《AI嵌入式系统: 算法优化与实现》,可以帮助嵌入式技术相关专业学生或开发人员提升技能,加速嵌入式AI在行业的大规模商业落地。
嵌入式AI对AI商业化的理论支撑
在AI商业化的进程中,要实现技术的落地,不仅需要性能优越的算法模型和可靠的硬件支持,还需要把AI技术和硬件环境进行有机结合,再应用到具体的实际场景中。如果说未来是一个智能世界,那么每一个终端都应该是智能的,这就必须要依赖于嵌入式AI技术。
嵌入式,就是指一种可被内置于设备或装置的专用计算机系统。通常来说,具有数字接口的设备都具有嵌入式系统,如手机、车载电脑、智能手表等等。而嵌入式 AI,则是一种让 AI 算法可以在终端设备上运行的技术
通常而言,嵌入式AI对于高实时处理的场景具有天然的优势,比如无人机、智能汽车、产业机械、电器、安检等场景中得到了越来越多的应用。
很多人也许会问,5G网络成熟之后,AI能力可以上传云端处理,为什么要嵌入式AI呢?实则不然,终端所处的场景都比较复杂,比如智能汽车行驶会遭遇不可预知的路况,就无法保证数据能够及时同步,要让汽车做出智能驾驶甚至无人驾驶的及时反应,就需要嵌入式AI,使其能够及时做出判断。
而从开发者的角度,学习AI嵌入式系统也困难重重。比如如何训练神经网络来识别模式,如何优化该网络,以满足嵌入式设备有限的尺寸,从而达到尺寸和功率目标等等。这是一个系统性的工作。
因此,《AI嵌入式系统: 算法优化与实现》从深度神经网络底层计算细节入手,为嵌入式AI技术提供了全面、深入的解读。为嵌入式领域工程技术人员、机器学习算法的底层算法软件开发人员解惑,同时也可作为计算机、电子信息、自动控制等相关专业高年级本科学生的参考教材。
理论与实践结合:不同路径下的选择
很多计算机行业的丛书,都会存在过于偏重于理论知识,缺乏实践支撑的老问题。
而《AI嵌入式系统: 算法优化与实现》则是集机器学习算法优化理论和应用实践为一体,不仅面向人工智能的嵌入式应用,涵盖了基于运算量,内存,功耗等多维度的机器学习算法优化理论与技术。从算法底层单元到机器学习算法训练-推理联合优化及自动优化部署算法等方面进行阐述,还结合通用嵌入式处理器进行了验证。
从处理器系统架构选择和机器学习算法选择,两个方向亦可见本书的实践价值。
现在很多机器学习算法基于海量存储和运算,对功耗,体积,计算能力和存储容量有较高要求,而不同领域的嵌入式系统有多条途径,在具体场景,如何去选择,这在一定程度上增加了开发者学习的难度。
比如,基于GPU的通用多处理器架构,方案通用性强、算力高,但代价是硬件成本高、功耗大;基于专用运算加速引擎的定制化方案运算效率高,功耗可控,但运算结构相对固定,灵活性差;而基于现有处理器对算法进行深度优化的方案成本低,不需要专用或定制化硬件,通用性强,但代价是需要手动对各案例逐个优化,开发难度高。
存在即合理,不同的路径在不同的场景都有其存在的价值。
《AI嵌入式系统: 算法优化与实现》中关注的是基于现有嵌入式处理器系统和架构,通过不同层次的优化实现机器学习算法。虽然所介绍的方法以通用嵌入式处理器为例,但也能够应用于GPU或者硬件加速引擎架构,比如基于变换域的快速卷积算法,在GPU的底层运算库中得到应用,基于加减图的常数乘法运算能够方便地在芯片硬件设计中实现。
多样性不仅存在于处理器系统和架构,包括机器学习也涉及多个不同领域的算法选择。
比如,基于统计学系的算法理论模型设计精巧,泛化性好,运算量相对较低,容易在存储量的运算量受限的嵌入式系统中实现,但它依赖较强的概率假设,模型上的偏差限制了它在实际应用中的性能。
反观神经网络算法,尽管性能优越,但庞大的参数存储量限制了其在嵌入式系统上的实现。近年来的研究发现,很多神经网络架构中存在大量冗余的运算和参数,通过运算的简化和架构裁剪能够大大降低神经网络对计算性能和内存的需求,使得在嵌入式系统上实现它成为可能。
因此,《AI嵌入式系统: 算法优化与实现》讨论的内容,也覆盖了基于统计学和基于神经网络的机器学习算法在嵌入式系统上的实现,通过算法和例程介绍具体的优化手段。
“小心思”帮读者更快吸收知识点
为什么说《AI嵌入式系统: 算法优化与实现》,可以同时满足开发者和专业学生的需要呢?
首先,从专业度上来说,本书的两位作者都有较强的专业背景,如应忍冬是上海交通大学电子信息与电气工程学院副教授,硕士生导师。长期从事嵌入式系统和数字电路教学与科研工作;刘佩林是上海交通大学电子信息与电气工程学院教授,博士生导师。他们既具备专业视角,也懂得如何授业解惑。
其次,从内容的详实度上,本书的内容涵盖了通用嵌入式优化技术,包括基于SMD指令集的优化、内存访问模式优化、参数量化等,并在此基础上介绍了信号处理层面的优化、Al推理算法优化及基于神经网络的Al算法训练—推理联合的优化理论与方法。此外,本书还通过多个自动搜索优化参数并生成C代码的例子介绍了通用的嵌入式环境下机器学习算法自动优化和部署工具开发的基本知识,通过应用示例和大量代码说明了Al算法在通用嵌入式系统中的实现方法,力求让读者在理解算法的基础上,通过实践掌握高效的Al嵌入式系统开发的知识与技能。
第三,《AI嵌入式系统: 算法优化与实现》本身也考虑到不同受众的接受度问题,因此在机器学习算法在嵌入式系统中的内容不仅给出了手动优化的步骤,也有软件辅助优化的介绍,让读者可以根据的实际需求进行理解。特别是书中底层算法代码,以Python语言形式进行了展现。这是考虑到Python语言表达能力和程序简洁性,这些“小心思”可以帮助读者更好的吸收和学习本书的知识点。
随着人工智能技术,在各个行业的普及,将AI技术和嵌入式系统相结合,构建AI嵌入式系统,本身也是为AI商业化的大规模落地奠定了基础,而这也是《AI嵌入式系统: 算法优化与实现》一书的初衷。