优化后，推理吞吐量提高了 4 倍，内存减少了 3 倍
人工智能在边缘的普及具有多种优势，包括降低延迟、增强隐私性和成本效益。Arm 一直走在这一发展的前沿，专注于通过其 Cortex-A 和 Cortex-M CPU 以及 Ethos-U NPU 在边缘提供先进的人工智能功能。然而，这一领域仍在迅速扩大，这给希望在数十亿台边缘设备上实现轻松部署的开发人员带来了挑战。
作者：Amogh Dabholkar
文章来源：https://community.arm.com/arm-community-blogs/b/ai-and-ml-blog/posts/optimizing-ai-models-for-arm-ethos-u-npus-using-the-nvidia-tao-toolkit
欢迎大家点赞留言，更多Arm技术文章动态请关注极术社区Arm技术专栏欢迎添加极术小姐姐微信（id:aijishu20)加入技术交流群，请备注研究方向。
