极术小姐姐 · 5月23日 · 黑龙江

在基于 Arm Neoverse V1 的 AWS Graviton3 CPU 上实现 LLM 性能

image.png

在过去的一年里,生成式人工智能吸引了科技行业的目光,每个人都在想方设法将 LLM 部署到云服务器和边缘服务器上的应用程序中。这些部署的默认首选平台是 GPU 和加速器,它们能提供最佳性能。本博客介绍了基于 Arm Neoverse V1 的 AWS Graviton3 CPU 在灵活、大规模运行 LLaMa 3 [1] 和 Phi3 [2] 等行业标准 LLM 方面的能力,并展示了它们与其他基于 CPU 的服务器平台相比的主要优势。

作者:Ravi Malhotra
文章来源:https://community.arm.com/arm-community-blogs/b/infrastructure-solutions-blog/posts/best-in-class-llm-performance-on-arm-neoverse-v1-based-aws-graviton3-servers

欢迎大家点赞留言,更多Arm技术文章动态请关注极术社区Arm技术专栏欢迎添加极术小姐姐微信(id:aijishu20)加入技术交流群,请备注研究方向。

推荐阅读
关注数
23580
内容数
1033
Arm相关的技术博客,提供最新Arm技术干货,欢迎关注
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息