2022 年，首个云端文生图的生成式人工智能 (AI) 用例诞生。通过“一张宇航员骑马的照片”文字提示，生成了一张 AI 图像，虽然图像还存在瑕疵，但展示了生成式 AI 令人惊叹的能力和潜力。
当时我并未在云端运行这个用例，而是在想：“这很棒，但它能在移动设备上实现吗？”
生成式 AI 是当今智能手机体验的一部分
时至今日，答案已显而易见。事实上，许多生成式 AI 工作负载，如图像生成和文本摘要，已无缝融入现代智能手机体验之中，且这些任务均能在端侧进行高效处理。这得益于旗舰 AI 智能手机卓越的计算能力，以及生成式 AI 所依赖的大语言模型 (LLM) 不断向更小、更高效的方向发展。这些趋势将继续演进，意味着在不久的将来，生成式 AI 将成为移动端应用的标配。
AI 工作负载始于 CPU
正如我们之前谈到的，移动端 AI 始于 CPU。它为全球开发者提供了软件灵活性和可编程性。此外，地球上每一台数字消费电子设备都搭载 CPU，CPU 的无处不在意味着开发者创建应用时，可以“一次编写，即可随处部署”，确保覆盖更为广泛的用户。
今年早些时候，我们进行了聊天机器人演示，它能作为科学和编程虚拟助教，并在移动端 CPU 上流畅运行。此次演示的成功，表明我们开始探索在 Arm CPU 上运行更多端侧生成式 AI 用例，以更好地满足智能手机用户的日常使用需求。由此，我们创建了三款新的演示，包括群聊总结、语音留言总结和实时语音助手。它们和聊天机器人演示一样，完全在端侧处理和运行生成式 AI 工作负载，相比将数据发送到云端处理，这能提供更好的隐私性、降低延迟，并具备成本优势。
新的生成式 AI 演示
对我个人而言，群聊总结和语音留言总结在日常生活中非常实用。和大多数智能手机用户一样，我总会收到亲朋好友的各种消息和语音，用生成式 AI 总结聊天内容很有帮助。
群聊总结演示可以针对包含多个参与者的群聊消息快速提炼要点，并以易于理解的格式呈现。除群聊消息总结之外，该功能还适用于其他场景，例如电子邮件内容总结。更令人称道的是，该用例也支持多模态，甚至可以在总结中巧妙融入图片信息。
语音留言总结演示可以展示 LLM 和语音转文本模型如何通过协同工作总结和转录用户收到的语音留言。先由模型将语音留言转换为文本，再由 LLM 加以总结。对我个人而言，这真的节省了大量时间！
和之前的聊天机器人演示一样，实时语音助手演示的创新亮点在于，它完全可以在飞行模式下独立运行，充分展示了 Arm CPU 在端侧处理生成式 AI 工作负载的强大能力。
该演示先使用 whisper.cpp 自动识别语音，再进入 LLM 模块，使用 Google AI Edge 的 MediaPipe 运行 Gemma 2B 模型。此外，也可选择 Llama 3 模型。即使使用 30 亿参数模型，也能实现实时对话，声音逼真，且能感知语境、进行多轮对话。
为了显著提升性能，我们在用于语音识别的 whisper 模块和用于生成响应的 LLM 模块中都集成了 Arm KleidiAI——一组专为生成式 AI 工作负载而高度优化的AI软件内核，能够显著提升性能表现。该用例还可用于汽车应用，驾驶员无需手动操作，仅凭语音指令即可与设备互动，例如在行车途中询问导航方向，或与游戏角色互动对话，极大地提升了驾驶体验。
在以上三种演示中，我们都使用了旗舰级AI 智能手机，包括搭载 MediaTek 天玑 9300 芯片的 vivo X100、搭载 MediaTek 天玑 9200+ 芯片的红米 K60 至尊版，以及搭载 Google Tensor G3 芯片的 Google Pixel 8 和 Pixel 8 Pro，这些手机的芯片组均采用了 Armv9 CPU 技术，该技术融入了诸如 SVE2 等全新架构特性，旨在大幅提升 AI 性能。
未来，基于 Arm CPU 打造的旗舰 AI 智能手机将利用可伸缩矩阵扩展 (SME) 架构特性，加速 AI 工作负载，并为 Arm CPU 上运行的 AI 应用提高性能、能效和灵活性。
展望未来
尽管生成式 AI 已经展现了诸多潜力，但其未来的发展前景将更加令人期待。事实上，我认为我们在端侧生成式 AI 领域，尤其是在图像和视频生成方面，还仅仅处于初步探索阶段。
近期，OpenAI 展示了由文本生成视频，Luna Labs 演示了由图像生成视频。虽然两种生成式 AI 工作负载都在云端处理，但根据当前的趋势发展，预计在未来两年内，这些工作负载就有可能在移动端CPU上得以实现，就像刚才提到的骑马的宇航员用例一样！
Arm 平台是端侧生成式 AI 的基石
生成式 AI 陆续实现了各种不同的用例和工作负载，不断巩固着智能手机在个人和专业计算中的核心地位。这让我们更加期待生成式 AI 在移动领域的发展。
全球 99% 的智能手机和业界领先的移动生态系统都采用了普遍的 Arm CPU 技术，Arm 也将通过持续的技术赋能，实现这些令人赞叹的可能性。
我们将持续优化 Arm CPU，为其增加更多功能和架构特性，同时通过 Arm Kleidi 为开发者释放更多 AI 性能。作为引领未来 AI 发展的移动平台，Arm 将持续推动该领域的革新与进步。
END
作者： Arm 终端事业部产品管理总监 Ronan Naughton
文章来源：Arm社区
推荐阅读
