极术小姐姐 · 10月23日 · 广东

在 AWS Graviton4 CPU 上运行 Llama 3 70B 实现人类可读性能

image.png

本博客由李娜和 Masoud Koleini 合著

亚马逊网络服务(AWS)推出了最新一代基于 Arm 的定制设计 CPU,即 AWS Graviton4 处理器,并于 2024 年 7 月 9 日全面上市。这些先进的处理器采用基于 64 位 Arm 指令集架构的 Arm Neoverse V2 内核开发。该架构将 Graviton4 定位为高效、强大的解决方案,适用于各种基于云的应用[1]。

作者:Na Li
文章来源:https://community.arm.com/arm-community-blogs/b/infrastructure-solutions-blog/posts/running-llama-3-80b-on-aws-graviton4

欢迎大家点赞留言,更多Arm技术文章动态请关注极术社区Arm技术专栏欢迎添加极术小姐姐微信(id:aijishu20)加入技术交流群,请备注研究方向。

推荐阅读
关注数
23582
内容数
1033
Arm相关的技术博客,提供最新Arm技术干货,欢迎关注
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息