嵌入式推理框架 · 2019年10月18日

重大更新丨Tengine1.7.1面向开发者提供免费下载「文末有福利」

Tengine是一款开放AIoT应用开发平台,助力AIoT全行业的快速赋能及应用落地。Tengine平台可以高效的适配于绝大部分搭载了Arm架构的芯片设备,并兼容TensorFlow、Caffe,mxnet,onnx等主流深度学习开源框架的模型。开发者可以使用Tengine一键部署主流框架模型到嵌入式操作系统,还能异构调度平台里的各类硬件,充分利用硬件算力。

此外,Tengine还提供了常见的AI应用算法,包括图像检测,人脸识别,语音识别等。不懂AI没关系,用Tengine上手就能跑AI应用。

微信图片_20191018155735.jpg

一、增加3大新功能

1.GPU backend support with ACL 19.02

最新版本Tengine1.7.1对Mail GPU的支持,无论是在性能还是在硬件支持平台上,均有了质的提升,我们当前支持ACL 19.02版本,对GPU的支持面覆盖到ACL可支持的硬件平台,并且在Tengine本身的异构框架下做到了进一步的性能提升。

基于RK3399的Mail T860 GPU和CPU异构的性能对比(MobilenetSSD)

微信图片_20191018155739.png
2.Static tool for convert other models to Tengine

我们提供了基于最新版本的模型转换工具,只需要在x86的Linux环境下既可以进行模型转换,参数简单,操作方便,不依赖任何其他三方库和文件 ,相比之前还需要依赖库有了更方便的操作体验。

模型转换工具支持:caffe,TensorFlow,mxnet,onnx,tf_lite等模型格式的直接转tengine,具体的算子支持情况,请移步Tengine开发者网站:http://www.tengine.org.cn/jis...

3.Tengine graph use origin layout to execute

Tengine支持使用模型原始的layout去执行,不会在执行时转换模型的维度,避免模型格式转换时遇到的一些问题 ,当前Tengine支持两种layout格式NCHW和NHWC 。

二、性能进一步优化

在功能丰富的前提下我们同步对性能又做了进一步的优化,当前的性能提升主要有三点:

1、添加了对Winograd快速卷积方法的支持

该卷积方法对卷积运算有了进一步的调优,比原始的卷积计算方法减少了大量的乘法运算,提升了运算性能,针对几个开源网络我们实测了下性能提升的对比倍数,如下是不同硬件和不同网络下winograd相对于gemm性能提升的倍数关系图。

exp:vgg16在1*A72@1.8G 环境下Winograd的性能是Gemm的2.8倍

微信图片_20191018155742.jpg
2、 支持LSTM算子的汇编优化实现

3、 支持GRU算子的汇编优化实现

三、Tengine 1.7.1 版本下载

本次开放下载,我们提供了市面上大多数的硬件平台的开发者版本,用户不需要申请即可免费下载 ,如下为我们本次开放下载的版本列表:

微信图片_20191018155746.png
Tengine1.7.1 下载页面链接:http://www.tengine.org.cn/info.php?class_id=105105

四、送福利

Tengine推理引擎在助力AI落地上起到了举足轻重的作用,为了让广大开发者更方便的使用Tengine,也为了更加的完善我们的Tengine产品,现开放以下福利给广大的开发者 :

在使用Tengine过程中,如果发现Tengine有NN的算子不支持的,并能提供对应资料,有如下奖励:

个人用户奖励150元现金红包;

企业用户提供免费1年的技术支持服务,和OPEN AI LAB签署生态合作协议,并奖励提出者300元现金红包。

1,资料包括:包含所提交的不支持算子的模型,以及用Tengine推理运行的异常日志;

2,NN算子限于Mxnet ,Caffe,TensorFlow,onnx框架平台支持的标准算子;

3,每个不支持的算子只奖励第一个提出者;

4,提交相关信息到Developer@openailab.com邮箱;

5,奖励上限为1000份;

6,活动会每周定期公布提交的人的邮箱和相关信息;

7,本活动OPEN AI LAB拥有最终解释权。

Tengine1.7.1 下载页面链接:http://www.tengine.org.cn/info.php?class_id=105105

推荐阅读
关注数
3393
内容数
68
Tengine是一款轻量级模块化高性能的神经网络推理引擎 ;欢迎体验Tengine,[链接] 《Tengine开发者入门资料包》[链接]
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息