采用Arm Neoverse V1的AWS Graviton3在深度学习推理工作负载方面比x86快1.8倍以上

机器学习（ML）是云和边缘基础设施中增长最快的部分之一。在ML中，深度学习推理的增长速度预计会更快。

在这篇博客中，我们比较了三种亚马逊网络服务（AWS）EC2云实例类型在运行两种常见的FP32 ML模型时的ML推理性能。我们将在未来的博客中介绍量化推理（INT8）的性能。

作者：Ashok Bhat
阅读直达：https://community.arm.com/arm-community-blogs/b/infrastructure-solutions-blog/posts/machine-learning-inference-on-aws-graviton3
欢迎大家点赞留言，更多Arm技术文章动态请关注极术社区Arm技术专栏欢迎添加极术小姐姐微信（id:aijishu20)加入技术交流群，请备注研究方向。