作者：Arm 终端事业部产品管理总监 Ronan Naughton
2024 年五月，我们正式推出了 Arm Kleidi，包含了一系列软件交付和社区参与，旨在加速人工智能 (AI) 在整个开发者生态中的发展。第一项举措是推出了面向热门 AI 框架的 Arm Kleidi 库，其中包括 Arm KleidiAI，为 AI 工作负载充分释放出 CPU 性能。
Arm 与主流 AI 框架直接合作，推动 KleidiAI 的集成，并已取得成功，显著提升了当今生成式 AI 工作负载性能，包括主流的大语言模型 (LLM)。对于开发者而言，集成 KleidiAI 是完全无缝且透明的，无需学习额外的工具和技能，这可帮助开发者加速 AI 应用开发，并大幅提高 AI 性能。
这些工作成果已在业界收获了广泛赞誉，并得到了全球大型科技公司的肯定。在 COMPUTEX 2024 上，Arm 首席执行官 Rene Haas 分享了来自 Google、Meta 和三星的高管视频，他们各自讲述了 KleidiAI 将如何助力他们在多个市场加速 AI 创新。
KleidiAI 与 Google AI Edge 集成
KleidiAI 的影响力正在逐步显现，随着我们与 Google AI Edge 的合作，通过 XNNPACK 将 KleidiAI 集成到 Arm CPU 上加速的 MediaPipe 框架中，XNNPACK 可支持 Gemma 2B 等多种 LLM。得益于 KleidiAI 的集成，我们使用基于 Arm CPU 技术的三星 Galaxy S24 智能手机（搭载 Exynos 2400），在 Gemma 2B LLM 上运行了聊天机器人摘要生成演示，词元 (Token) 首次响应时间加快了 30%。
性能提升体现于每秒处理的词元数量，集成 KleidiAI 之后，一秒钟可处理约 250 个词元，大幅提升了演示的响应速度。这些激动人心的成果对 AI 和机器学习 (ML) 开发者具有积极意义，我们欢迎开发者使用我们全新的 Learning Path[1]，测试 KleidiAI 赋能的 Google AI Edge 的 MediaPipe。
我们之前已经展示了如何在 CPU 上运行 LLM，而 Arm 是最早展示这项能力的企业之一。我们将这项工作扩展到了 Google，如上述的聊天机器人演示，演示中的应用利用了 MediaPipe API 和 XNNPACK CPU 后端，并通过集成 KleidiAI 实现加速。出色的性能不仅印证了在 CPU 上运行 LLM 的可能性，也展示了它在 AI 实际用例中的广泛应用前景，包括聊天机器人、智能回复和信息摘要等。
一系列创举
这项演示是为 Arm 开发者生态和更广泛的 AI 开发者生态所带来的一系列创举之一。它是 Arm 与 Google AI Edge 就 MediaPipe 和 XNNPACK 进行合作的首个演示，旨在帮助开发者在 CPU 上加速 AI 工作负载。这开启了我们为 XNNPACK 带来出众性能的序章，XNNPACK 是一个高度优化的神经网络算子开源库。考虑到 XNNPACK 已获得超过 70 亿次第三方安装，KleidiAI 集成能够将出色的 AI 性能带到 CPU 上，惠及到更广阔的市场。
Google AI Edge 主管 Matthias Grundmann 表示：我们非常高兴能够在 Google AI Edge 的 XNNPACK 中支持 KleidiAI，以加速当前和未来 Arm CPU 上的 AI 工作负载。这将为 AI 开发者提供利用现有及新的 Arm 架构功能的机会，以实现出众的性能，并随时间推移持续优化性能。
这也是接下来的数月中我们将达成的一系列 Kleidi 集成的首项成果，Arm 将使更多 LLM 在搭载 Arm CPU 的设备上有效且高效地运行。Arm 通过专注于整个软件生态的 Kleidi 集成，致力于将 AI 性能引入到各种硬件，方便广大的软件开发者社区使用，从而更好地构建基于 Arm 平台、面向 Arm 架构的 AI 应用。
轻松取得 AI 性能
对于开发者而言，KleidiAI 集成不仅加速了开发流程，还可在广泛应用的 Arm CPU 上充分释放 AI 性能，从而在端侧实现卓越的 AI 体验。KleidiAI 同样适用于采用我们领先架构功能（如 Neon、SVE2 和可伸缩矩阵扩展 (SME) 等）的各类级别的 CPU，为应用开发者提供了可移植的软件解决方案。
正如 Rene Haas 在 COMPUTEX 2024 主题演讲中所说：如果无法让开发者获取所需资源，硬件将无法发挥其作用。
* 本文为 Arm 原创文章，转载请留言联系获得授权并注明出处。
作者：Ronan Naughton
文章来源：Arm社区
推荐阅读
