https://www.arm.com/blogs/blueprint/tinyml
发布于2021年5月6日
由Arm蓝图工作人员提供
TinyML专注于机器学习（ML）工作负载的优化，以便它们可以在微控制器上处理，微控制器大小不超过一粒米，功耗仅为几毫瓦。
TinyML为微型设备提供智能。我们的意思是“微小”：像一粒大米一样微小，消耗的能量也很小。在Arm、谷歌、高通和其他公司的支持下，tinyML有潜力改造物联网（IoT），基于Arm芯片的数十亿微型设备已被用于在消费、医疗、汽车和工业等领域提供更深入的见解和更高的效率。
为什么要将tinyML作为微控制器的目标？
Arm Cortex-M系列等微控制器是ML的理想平台，因为它们已被广泛使用。它们能够快速高效地执行实时计算，因此可靠性高，响应速度快，而且因为它们耗电很少，可以部署在更换电池困难或不方便的地方。也许更重要的是，它们足够便宜，可以在任何地方使用。市场分析师IDC报告称，2018年微控制器销量为281亿台，并预测到2023年，年出货量将增长至382亿台。
微控制器上的TinyML为我们提供了分析和理解物联网产生的大量数据的新技术。特别是，深度学习方法可以用来处理信息，并理解来自传感器的数据，这些传感器可以检测声音、捕获图像和跟踪运动。
以非常紧凑的格式进行高级模式识别
在研究机器学习中涉及的数学问题时，数据科学家发现，他们可以通过做出某些改变来降低复杂性，比如用简单的8位操作代替浮点计算。这些变化创造了机器学习模型，其工作效率更高，所需的处理和内存资源也少得多。
TinyML技术发展迅速，得益于新技术和一批敬业的开发人员。就在几年前，我们还在庆祝我们能够运行一个语音识别模型，该模型能够在受限制的Arm Cortex-M3微控制器上检测到某些单词时唤醒系统，只需使用15KB的代码和22KB的数据。
此后，Arm推出了新的机器学习（ML）处理器，称为Ethos-U55和Ethos-U65，这是一种专门设计用于加速嵌入式和物联网设备中的ML推理的microNPU。
Ethos-U55与具有AI功能的Cortex-M55处理器相结合，将显著提升ML性能，并提高能效，而不是我们今天看到的已经令人印象深刻的例子。
TinyML将端点设备提升到了一个新的层次
tinyML的潜在用例几乎是无限的。开发人员已经在与tinyML合作，探索各种新想法：改变信号以减少拥堵的响应式交通灯、能够预测何时需要服务的工业机器、能够监测农作物是否存在有害昆虫的传感器、，当库存减少时，可以要求重新进货的店内货架，可跟踪生命体征的医疗保健监测器，同时保持隐私。这个名单还有很多。
TinyML可以使终端设备更加一致和可靠，因为不需要依靠繁忙、拥挤的互联网连接将数据来回发送到云端。减少甚至消除与云的交互具有主要的好处，包括减少能源使用、显著减少数据处理延迟和安全好处，因为不传输的数据很少受到攻击。
这些在微控制器上执行推理的tinyML模型不打算取代目前云中发生的更复杂的推理，这一点毫无价值。相反，他们所做的是将特定功能从云端带到终端设备。这样，开发人员就可以在需要时保存云交互。
TinyML还为开发人员提供了一套强大的解决问题的新工具。ML使得检测基于规则的系统难以识别的复杂事件成为可能，因此端点AI设备可以开始以新的方式做出贡献。此外，由于ML可以用文字或手势来控制设备，而不是按钮或智能手机，因此终端设备可以构建得更加坚固，并且可以在更具挑战性的操作环境中部署。
TinyML凭借不断扩张的生态系统获得动力
行业参与者已迅速认识到tinyML的价值，并已迅速采取行动创建支持性生态系统。从热情的爱好者到经验丰富的专业人士，各个级别的开发人员现在都可以访问使其易于入门的工具。所需要的只是一台笔记本电脑、一个开源软件库和一根USB电缆，将笔记本电脑连接到几块价格低至几美元的廉价开发板中的一块。
事实上，在2021年初，树莓派发布了其第一块微控制器板，这是市场上最便宜的开发板之一，价格仅为4美元。它名为树莓派Pico，由RP2040 SoC提供动力，这是一款功能强大的双臂Cortex-M0+处理器。RP2040 MCU能够运行TensorFlow Lite Micro，我们期望在未来几个月内看到该板的各种ML用例。
Arm是tinyML的有力支持者，因为我们的微控制器架构对物联网非常重要，而且我们看到了设备上推理的潜力。Arm与Google的合作使得开发者在注重电源的环境中部署端点机器学习变得更加容易。
Arm CMSIS-NN库与谷歌TensorFlow Lite Micro（TFLu）框架的结合，使数据科学家和软件开发人员能够利用Arm的硬件优化，而无需成为嵌入式编程专家。
除此之外，Arm还投资于从Keil MDK 帮助开发人员在部署ML应用程序时从原型到生产。
如果没有一些早期的影响者，TinyML是不可能的。Pete Warden，tinyML的“创始人”和谷歌TensorFlow Lite Micro的技术负责人，Arm创新者Kwabena Agyeman，他开发了OpenMV，一个致力于支持机器学习算法的低成本、可扩展、Python驱动的机器视觉模块的项目，以及Arm创新者，Daniel Situnayake是Edge Impulse公司的创始tinyML工程师和开发人员，该公司提供完整的tinyML管道，涵盖数据收集、模型培训和模型优化。此外，Arm合作伙伴，如Cartesiam.ai，一家提供NanoEdge ai的公司，NanoEdge ai是一种基于在真实条件下观察到的传感器行为在端点上创建软件模型的工具，它一直在将tinyML的可能性推向另一个水平。
ARM，也是TinyML基金会的合作伙伴，是一个开放的社区，它协调人们见面，帮助人们联系，分享想法，参与其中。有许多地方性的tinyML会议，包括英国、以色列和西雅图，还有一系列全球tinyML峰会。欲了解更多信息，请访问TinyML基金会网站。
https://www.tinyml.org/
