在过去的一年里，生成式人工智能吸引了科技行业的目光，每个人都在想方设法将 LLM 部署到云服务器和边缘服务器上的应用程序中。这些部署的默认首选平台是 GPU 和加速器，它们能提供最佳性能。本博客介绍了基于 Arm Neoverse V1 的 AWS Graviton3 CPU 在灵活、大规模运行 LLaMa 3 [1] 和 Phi3 [2] 等行业标准 LLM 方面的能力，并展示了它们与其他基于 CPU 的服务器平台相比的主要优势。
作者：Ravi Malhotra
文章来源：https://community.arm.com/arm-community-blogs/b/infrastructure-solutions-blog/posts/best-in-class-llm-performance-on-arm-neoverse-v1-based-aws-graviton3-servers
欢迎大家点赞留言，更多Arm技术文章动态请关注极术社区Arm技术专栏欢迎添加极术小姐姐微信（id:aijishu20)加入技术交流群，请备注研究方向。
