Arm 平台赋能移动端生成式 AI

生成式人工智能 (Generative AI) 涵盖了当下广为人知，且备受关注的大语言模型 (LLM)，如今也已落地边缘侧的移动设备。这意味着，无论是生成图像和视频，还是理解上下文语义，AI 的生成式推理将开始由移动设备进行全权处理，而非交由云端处理后返回结果。

Arm 作为基石技术，使得无处不在的 AI 成为可能，其中就包括移动端的生成式 AI。无论是支持 AI 功能的新款旗舰智能手机，还是直接在 Arm CPU 上处理 LLM，这些振奋人心的开发成果都展现了 Arm 作为基石技术的实际应用价值。

AI 赋能的新款智能手机

采用 Armv9 架构的 CPU 和 GPU 技术的高性能 AI 智能手机现已问世，其中包括搭载 MediaTek 天玑 9300 的 vivo X100 和 X100 Pro 智能手机、三星 Galaxy S24 以及谷歌 Pixel 8。

这些旗舰移动设备兼顾性能与效率，为 AI 创新提供了前所未有的机遇。事实上，在过去十年间，得益于 Arm CPU 和 GPU 的性能提升，在移动平台上的 AI 处理能力每两年实现翻番。

未来，我们会将更多 AI 性能、技术和功能加入到我们坚实的消费技术路线图中，推动这一趋势不断发展。同样起助推作用的还有当下的边缘侧 AI 推理热潮，以及使用 LLM 等经过训练的模型来驱动基于 AI 的应用，随着更多的 AI 支持和专用指令的加入，CPU 将成为满足这一需求的理想选择。

一切始于 CPU

大多数情况下，移动设备的 AI 功能都始于 CPU，例如对面部、手部和身体动作的追踪，高级的相机效果和滤镜，以及许多社交应用中的细分功能。此类 AI 工作负载的处理可能全权交由 CPU，或是结合 GPU 或 NPU 等协处理器一起提供支持。Arm 的 CPU 设计广泛应用于当今全球数十亿人使用的智能手机系统级芯片 (SoC) 中，对于在终端设备实现 AI 工作负载至关重要。

目前，70% 的第三方应用所使用的 AI 均基于 Arm CPU 运行，包括新发布的社交类、健康类和基于相机功能的应用等。除了设计的普及性，Arm CPU 还具有灵活性和 AI 功能，因此成为了移动设备领域开发者首选的应用 AI 工作负载处理器。

就灵活性而言，Arm CPU 能够以多种数据格式运行各类神经网络。展望未来，未来的 Arm CPU 将在指令集中加入更多 AI 功能，惠及行业领先的 Arm 生态系统，例如适用于 Armv9-A 架构的可扩展矩阵扩展 (Scalable Matrix Extension, SME)，帮助全球开发者为其 AI 应用提供更高的性能、创新功能和可扩展性。

Arm 将领先的硬件水平与软件生态系统支持相结合，打造出高性能计算平台，推动边缘生成式 AI 的兴起，让游戏迭代、图像增强、语言翻译、文本生成和虚拟助手等功能成为可能。我们在今年二月的 2024 世界移动通信大会 (MWC 2024)上展示了部分新一代 AI 工作负载的示例。

Arm 计算平台上的移动端 LLM

我们制作了一个虚拟助手演示，在移动端聊天类应用上使用了 Meta 的 LLAMA2-7B LLM。基于 Arm CPU，无需加速器，即可完全在边缘侧移动设备上运行生成式 AI 工作负载。利用现有的针对 AI 的 CPU 指令，结合 Arm 计算平台（包括 Arm AI 软件库）针对 LLM 的专门的软件优化，我们实现了出色的性能表现。

从上面的视频中可以看出，词元 (Token) 首次响应时间表现优异，文本生成速率接近每秒 10 个词元，高于人们的平均阅读速度。这得益于经过高度优化的 CPU 例程，它来自于由 Arm 工程团队开发的软件库；与 LLAMA2-7B LLM 中的原生实现相比，词元首次响应时间缩短 50%，文本生成速率提高 20%。

此外，AI 开发者也可在 Arm CPU 上利用自己的技术，进一步优化软件，让 LLM 变得更小、更高效、更快速。

LLM 越小、越快，就意味着 AI 处理可以在边缘侧进行。用户可以享受到响应更快、更灵敏的 AI 体验。此外，由于用户数据仅在移动设备本地处理，隐私保护也能做得更好。同时，对于移动端生态系统而言，这种成本更低、可扩展性更强的选择，也更有利于在数十亿移动设备上部署 AI。

我们也将在后续的文章中，介绍更多关于该演示的相关信息，敬请关注。