13

嵌入式推理框架 · 2019年08月12日

AIoT应用开发的全新工具丨附Tengine白皮书

在过去20年里,互联网技术的高速发展已经深刻地改变了我们的生活。与互联网相比,当前正在进行的物联网(IoT)技术革命则正在以前所未有的方式、更加全面和彻底的重构着我们的生活和工作方式。毫不夸张的说,这是人类发展历史上从未面临过的美好前景。与此同时人工智能(AI)技术与物联网技术的深度结合、以及深度神经网络(DNN)技术在计算机视觉等领域所取得的突破性进展,在全球范围所有行业内掀起波澜壮阔、势不可当的系统性变革。

出于成本,延时,带宽,功耗,可靠性和隐私性问题的考虑,从2018年开始,越来越多的应用场景把AI计算从云端向终端设备迁移,无论在安防、交通、制造、医疗还是自动辅助驾驶、智能家居等领域,数以亿计的设备都将智能化升级。

一个新兴的巨大的物联网AI应用市场(AI-IoT)正在形成。然而,巨大市场机遇的背后,我们看到的是一个严峻问题 — AIoT应用的开发缺乏好用的开发工具,这让AI应用的开发效率大打折扣,甚至已经成为了制约行业发展的最大瓶颈。

首先,现有的AI开发工具都是为服务器或者手机平台开发设计的,市面上找不到一款专为嵌入式场景设计的AI开发工具,因此,要在IoT设备上开发一款AI应用可不是一件容易的事。 因为IoT设备无论在芯片规格,软件环境,系统要求上都与服务器设备有很大差异,甚至与手机相比,其硬件资源环境也要比起手机平台苛刻许多。

市面上绝大多数IoT设备都是基于微控制器(MCU)开发的,而MCU大量使用Arm Cortex-M处理器,算力只有几百MOPs,内存RAM往往只有几MB,甚至连操作系统都没有,因此,在MCU上开发AI应用,也成了只有极少数技术专家才能完成的事。

即便是在像手机这样的软硬件环境相对宽松的嵌入式设备上(一般基于Arm Cortex-A处理器),当前的AI开发工具仍然很难满足开发者的需求。比如最常见的视觉类AI应用,对算力的要求都很高,通常Arm CPU能提供50GOPs左右的算力,GPU能够提供几百GOPs的算力,勉强能够满足一般应用场景需求,但是当前的AI软件很难针对AI计算模式做优化,不能调用到芯片里的全部计算资源,导致实际硬件利用率只有30%甚至更低。

其次,AI应用的部署也是AI应用落地的一大难点。AIoT行业还处于早起发展阶段,从模型训练工具到芯片部署工具都有非常多的方案可选,这种竞争促进行业健康发展,但也造成了工具与芯片的双重碎片化。当想要把训练好的算法部署到数量众多的物联网设备上时,设备算力、平台间的兼容性问题都层出不穷。

如果能有一套好用的工具,能够贯穿AIoT开发部署的全部流程,避免开发者出现兼容障碍,让开发能力与成本聚焦在业务场景上,将会大大加速AI应用的落地。

Tengine就是未解决上述问题而上,点击查看Tengine

文件名 大小 下载次数 操作
Tengine白皮书.pdf 5.64MB 17 下载
推荐阅读
关注数
3391
内容数
68
Tengine是一款轻量级模块化高性能的神经网络推理引擎 ;欢迎体验Tengine,[链接] 《Tengine开发者入门资料包》[链接]
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息