嵌入式推理框架 · 2019年07月25日

内测报名丨AIoT应用落地So Easy—Tengine 1.6版重磅发布

微信图片_20190725102843.jpg
边缘设备算力不足,AI应用开发部署效率低下是当前AI应用落地面临的两大痛点,为了解决以上问题,OPEN AI LAB于2017年推出了专门面向边缘设备的AI推理框架Tengine。历经一年多的发展,Tengine已被数十家芯片公司和系统集成商采用,数百万台AIoT设备通过Tengine的优化和加速完成了智能化升级。Tengine正在通过它与生俱来的优势推动着万物互联走向万物智能。

今天,Tengine通过不断的迭代已经实现了从速度到精度的多方位升级,在7月18日举行的第二届ARM人工智能全球峰会上,OPEN AI LAB重磅发布 Tengine 1.6版本,一起来看看有哪些令人兴奋的新特性!

Tengine1.6版本新特性:

1.支持更多模型种类,新增大量MXNet和TensorFlow-Lite的算子实现;

2.支持语音算子,包括性能调优过的RNN/LSTM/GRU算子;

3.支持Winograd卷积;

4.支持瑞芯微RK3399Pro NPU;

5.量化训练工具首次亮相。

Tengine一直秉承开放、兼容的理念,支持模型的种类、以及支持算子的数量在同类框架中首屈一指。最新版本已支持5大类模型格式、135种算子,对MXNet与TensorFlow-Lite的支持更加完善。特别值得一提的是,新版本中还增加了Winograd卷积的实现,大大优化了Resnet/VGG等大网络的推理性能,速度上继续领跑所有AI推理框架,Tengine作为Arm平台的第一框架,当之无愧!

Snipaste_2019-07-25_10-29-07.jpg
表1. Tengine支持的TF-Lite和MXNet算子列表

听到这,小伙伴们是不是已经对新版Tengine跃跃欲试拉?别急,还有这些重磅功能等你来体验!

首先,是实现了业内伙伴都很关心的AI加速器的支持,除了已支持的ARM中国周易AIPU与海思NNIE之外,Tengine1.6版已经完成瑞芯微NPU(RK3399 Pro)的适配工作。在可预见的未来五到十年,各种加速器将百花齐放,如何让应用和算法方便的实现跨平台移植将是AI开发者必须面对的一个难题,而Tengine就是这个难题的最优解决方案 ,因为Tengine有个与众不同的优势就是:它是一个能够跨平台的AI框架!

Tengine提供跨芯片的统一AI开发接口,并积极适配各种主流AI加速器。通过Tengine实现AI应用的跨平台移植,简单到只需要修改一行代码,且Tengine的异构计算可以让芯片上的CPU和AI加速器协同计算,发挥出最佳算力。选择Tengine,可大大降低应用移植难度,避免重复开发的工作量,对广大AIoT应用开发者来说无疑是一大福音。

微信图片_20190725102912.jpg
图1. Tengine统一API 在不同芯片设备上进行推理示例代码

其次,与Tengine配套的量化训练工具首次公开!量化工具可将原始FP32模型进行重训练并在训练中做量化收敛,得到INT8新模型,新模型的精度与原始模型精度相比可达到几乎相同的效果。

微信图片_20190725102917.jpg
图2. Tengine量化训练工具

图3展示了通过Tengine 量化训练工具在LFW 上的1:1比对 1200W次测试结果,在FPR为十万分之一时,新模型INT8精度与原始模型FP32精度相比几乎完全一致。通过量化训练工具做精度补偿,用户可安心享受INT8量化带来的极速性能。目前此量化工具已在部分客户的项目中实际应用,这也是目前市面上唯一能够达到商用标准的量化训练工具。

微信图片_20190725102921.jpg
图3. Tengine 量化训练工具模型精度展示

有了量化工具的加持,AI应用可以兼顾高性能与高精度,是不是很令人心动呢!

除了Tengine本次发布的诸多亮点之外,还有一个好消息就是,OPEN AI LAB为众多开发者精心打造的Tengine开发者社区网站现已正式上线啦!(http://www.tengine.org.cn/) ,网站内容尚在不断丰富中,也非常期待您的访问和贡献!让我们一起持续努力,让世界充满AI!

TIPS·Tengine相关资源:

Github(源代码和文档):

https://github.com/OAID

技术交流QQ群:829565581

Tengine开发者社区网站:

http://www.tengine.org.cn/

极术AIoT开发者社区:

https://aijishu.com/

Tengine1.6内部测试活动

活动名额: 40名

报名要求:

1.具有深度学习、嵌入式开发基础;

2.有EAIDK/Tengine开发经验者优先。

报名时间:2019.7.24--2019.7.31

活动流程:

1.报名链接:https://jinshuju.net/f/REKBok 填写申请信息;

2.根据申请者开发经历及申请理由,选出40名有EAIDK/RK3399Pro/Hi3519av100/Hi3516cv500开发板的开发者参加内测;

3.申请成功的开发者需要提供使用心得、创意项目、意见&建议反馈等给OPEN AI LAB;若文章被采用,申请者将成为OPEN AI LAB的核心技术开发者,获得后续升级产品试用资格。

提示:参加者自备上述四个型号开发板任意一个即可。

OPEN AI LAB 于2016年12月成立,由Arm中国联合产业伙伴发起,致力于推动芯片、算力、算法、应用和数据等产业链各层次的深度协作,加速人工智能产业化应用部署和应用场景边界拓展,为最终实现万物智能贡献力量。更多:http://www.openailab.com

推荐阅读
关注数
3391
内容数
68
Tengine是一款轻量级模块化高性能的神经网络推理引擎 ;欢迎体验Tengine,[链接] 《Tengine开发者入门资料包》[链接]
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息