边缘设备算力不足，AI应用开发部署效率低下是当前AI应用落地面临的两大痛点，为了解决以上问题，OPEN AI LAB于2017年推出了专门面向边缘设备的AI推理框架Tengine。历经一年多的发展，Tengine已被数十家芯片公司和系统集成商采用，数百万台AIoT设备通过Tengine的优化和加速完成了智能化升级。Tengine正在通过它与生俱来的优势推动着万物互联走向万物智能。
今天，Tengine通过不断的迭代已经实现了从速度到精度的多方位升级，在7月18日举行的第二届ARM人工智能全球峰会上，OPEN AI LAB重磅发布 Tengine 1.6版本，一起来看看有哪些令人兴奋的新特性！
Tengine1.6版本新特性:
1.支持更多模型种类，新增大量MXNet和TensorFlow-Lite的算子实现；
2.支持语音算子，包括性能调优过的RNN/LSTM/GRU算子；
3.支持Winograd卷积；
4.支持瑞芯微RK3399Pro NPU；
5.量化训练工具首次亮相。
Tengine一直秉承开放、兼容的理念，支持模型的种类、以及支持算子的数量在同类框架中首屈一指。最新版本已支持5大类模型格式、135种算子，对MXNet与TensorFlow-Lite的支持更加完善。特别值得一提的是，新版本中还增加了Winograd卷积的实现，大大优化了Resnet/VGG等大网络的推理性能，速度上继续领跑所有AI推理框架，Tengine作为Arm平台的第一框架，当之无愧！
表1. Tengine支持的TF-Lite和MXNet算子列表
听到这，小伙伴们是不是已经对新版Tengine跃跃欲试拉？别急，还有这些重磅功能等你来体验！
首先，是实现了业内伙伴都很关心的AI加速器的支持，除了已支持的ARM中国周易AIPU与海思NNIE之外，Tengine1.6版已经完成瑞芯微NPU（RK3399 Pro）的适配工作。在可预见的未来五到十年，各种加速器将百花齐放，如何让应用和算法方便的实现跨平台移植将是AI开发者必须面对的一个难题，而Tengine就是这个难题的最优解决方案 ，因为Tengine有个与众不同的优势就是：它是一个能够跨平台的AI框架！
Tengine提供跨芯片的统一AI开发接口，并积极适配各种主流AI加速器。通过Tengine实现AI应用的跨平台移植，简单到只需要修改一行代码，且Tengine的异构计算可以让芯片上的CPU和AI加速器协同计算，发挥出最佳算力。选择Tengine，可大大降低应用移植难度，避免重复开发的工作量，对广大AIoT应用开发者来说无疑是一大福音。
图1. Tengine统一API 在不同芯片设备上进行推理示例代码
其次，与Tengine配套的量化训练工具首次公开！量化工具可将原始FP32模型进行重训练并在训练中做量化收敛，得到INT8新模型，新模型的精度与原始模型精度相比可达到几乎相同的效果。
图2. Tengine量化训练工具
图3展示了通过Tengine 量化训练工具在LFW 上的1：1比对 1200W次测试结果，在FPR为十万分之一时，新模型INT8精度与原始模型FP32精度相比几乎完全一致。通过量化训练工具做精度补偿，用户可安心享受INT8量化带来的极速性能。目前此量化工具已在部分客户的项目中实际应用，这也是目前市面上唯一能够达到商用标准的量化训练工具。
图3. Tengine 量化训练工具模型精度展示
有了量化工具的加持，AI应用可以兼顾高性能与高精度，是不是很令人心动呢！
除了Tengine本次发布的诸多亮点之外，还有一个好消息就是，OPEN AI LAB为众多开发者精心打造的Tengine开发者社区网站现已正式上线啦！（http://www.tengine.org.cn/） ，网站内容尚在不断丰富中，也非常期待您的访问和贡献！让我们一起持续努力，让世界充满AI！
TIPS·Tengine相关资源：
Github（源代码和文档）：技术交流QQ群：829565581
Tengine开发者社区网站：
极术AIoT开发者社区：
Tengine1.6内部测试活动
活动名额: 40名
报名要求：
1.具有深度学习、嵌入式开发基础；
2.有EAIDK/Tengine开发经验者优先。
报名时间：2019.7.24--2019.7.31
活动流程：
1.报名链接：https://jinshuju.net/f/REKBok 填写申请信息；
2.根据申请者开发经历及申请理由，选出40名有EAIDK/RK3399Pro/Hi3519av100/Hi3516cv500开发板的开发者参加内测；
3.申请成功的开发者需要提供使用心得、创意项目、意见&建议反馈等给OPEN AI LAB；若文章被采用，申请者将成为OPEN AI LAB的核心技术开发者，获得后续升级产品试用资格。
提示：参加者自备上述四个型号开发板任意一个即可。
OPEN AI LAB 于2016年12月成立，由Arm中国联合产业伙伴发起，致力于推动芯片、算力、算法、应用和数据等产业链各层次的深度协作，加速人工智能产业化应用部署和应用场景边界拓展，为最终实现万物智能贡献力量。更多：http://www.openailab.com
