麦斯科技 · 10月18日

使用TensorFlow Lite、树莓派RP2040浏览TinyML音频分类

https://www.hackster.io/news/sandeep-mistry-walks-through-tinyml-audio-classification-using-tensorflow-lite-raspberry-pi-rp2040-f4065b654565
来源:Gareth Halfacree

只需一块低成本的RP2040开发板和一个麦克风,您也可以构建一个设备上的烟雾报警音频监视器。

image_jjYexpAEgO.png

Arm的Sandeep Mistry撰写了一份指南,通过部署TensorFlow Lite模型进行端到端音频分类,将基于树莓派 RP2040的微控制器板转变为tinyML edge AI发电站。

“我们将演示如何将基于Arm Cortex-M的微控制器用于本地设备ML,以检测周围环境中的音频事件,”Mistry解释了他的教程,该教程重点介绍了在树莓派 Pico和其他微控制器开发板的核心发现的低成本RP2040。“这是一篇教程式的文章,我们将指导您完成基于TensorFlow的音频分类模型的培训,以检测火灾报警声音。”

image_6M0ycXSRTi.png

本教程使用谷歌的Colab作为开发环境,在Mistry的例子中,使用MicroMod机器学习载体板中的SparkFun MicroMod RP2040处理器,后者添加USB连接和麦克风,以及车载惯性测量单元(IMU)和相机接口,在这个特定的项目中没有使用-或树莓派PICO与外部麦克风插接。

本指南介绍了基于ESC-50环境声音分类数据集的培训,以及提高其检测报警声音能力的转移学习——这些任务发生在比RP2040更强大的设备上。经过培训后,该模型使用TensorFlow的Keras API创建、调整,并通过一个16位定点数字信号处理器(DSP)进行特征提取设置-解决RP2040上浮点性能不足的问题。

image_5BeoxZXSbo.jpg

然后,Mistry的教程介绍了使用RP2040和连接的麦克风收集特定的训练数据,完成训练,并将模型从Keras格式转换为TensorFlow Lite-包括量化,这一步骤将模型从32位浮点降到8位整数,以提高微控制器的性能。最后,该模型被编译成固件并部署到RP2040上。

“由于ML处理是在开发板RP2040 MCU上执行的,”Mistry指出,“推断时没有音频数据离开设备”-与依赖将音频数据上传到外部设备进行处理的方法相比,这是一个关键的隐私优势。

完整的指南现在可以在TensorFlow博客上找到。https://blog.tensorflow.org/2021/09/TinyML-Audio-for-everyone.html

1 阅读 123
推荐阅读
0 条评论
关注数
3155
内容数
225
定期发布Arm相关软件信息,微信公众号 ArmSWDevs,欢迎关注~
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
Arm中国学堂公众号
关注Arm中国学堂
实时获取免费 Arm 教学资源信息
Arm中国招聘公众号
关注Arm中国招聘
实时获取 Arm 中国职位信息