AIoT应用开发的全新工具丨附Tengine白皮书

在过去20年里，互联网技术的高速发展已经深刻地改变了我们的生活。与互联网相比，当前正在进行的物联网（IoT）技术革命则正在以前所未有的方式、更加全面和彻底的重构着我们的生活和工作方式。毫不夸张的说，这是人类发展历史上从未面临过的美好前景。与此同时人工智能（AI）技术与物联网技术的深度结合、以及深度神经网络(DNN)技术在计算机视觉等领域所取得的突破性进展，在全球范围所有行业内掀起波澜壮阔、势不可当的系统性变革。

出于成本，延时，带宽，功耗，可靠性和隐私性问题的考虑，从2018年开始，越来越多的应用场景把AI计算从云端向终端设备迁移，无论在安防、交通、制造、医疗还是自动辅助驾驶、智能家居等领域，数以亿计的设备都将智能化升级。

一个新兴的巨大的物联网AI应用市场（AI-IoT）正在形成。然而，巨大市场机遇的背后，我们看到的是一个严峻问题 — AIoT应用的开发缺乏好用的开发工具，这让AI应用的开发效率大打折扣，甚至已经成为了制约行业发展的最大瓶颈。

首先，现有的AI开发工具都是为服务器或者手机平台开发设计的，市面上找不到一款专为嵌入式场景设计的AI开发工具，因此，要在IoT设备上开发一款AI应用可不是一件容易的事。 因为IoT设备无论在芯片规格，软件环境，系统要求上都与服务器设备有很大差异，甚至与手机相比，其硬件资源环境也要比起手机平台苛刻许多。

市面上绝大多数IoT设备都是基于微控制器(MCU)开发的，而MCU大量使用Arm Cortex-M处理器，算力只有几百MOPs，内存RAM往往只有几MB，甚至连操作系统都没有，因此，在MCU上开发AI应用，也成了只有极少数技术专家才能完成的事。

即便是在像手机这样的软硬件环境相对宽松的嵌入式设备上（一般基于Arm Cortex-A处理器），当前的AI开发工具仍然很难满足开发者的需求。比如最常见的视觉类AI应用，对算力的要求都很高，通常Arm CPU能提供50GOPs左右的算力，GPU能够提供几百GOPs的算力，勉强能够满足一般应用场景需求，但是当前的AI软件很难针对AI计算模式做优化，不能调用到芯片里的全部计算资源，导致实际硬件利用率只有30%甚至更低。

其次，AI应用的部署也是AI应用落地的一大难点。AIoT行业还处于早起发展阶段，从模型训练工具到芯片部署工具都有非常多的方案可选，这种竞争促进行业健康发展，但也造成了工具与芯片的双重碎片化。当想要把训练好的算法部署到数量众多的物联网设备上时，设备算力、平台间的兼容性问题都层出不穷。

如果能有一套好用的工具，能够贯穿AIoT开发部署的全部流程，避免开发者出现兼容障碍，让开发能力与成本聚焦在业务场景上，将会大大加速AI应用的落地。

Tengine就是未解决上述问题而上，点击查看Tengine