E企研究院 · 2023年08月23日 · 广东

报告连载 | Arm 新升:NVIDIA Grace 与 AmpereOne

最近,业界首个以算网融合为核心的多元算力研究报告《算力经济时代·2023新型算力中心调研报告》出版,我们将对报告内容开启连载模式。

结合算力经济时代的算力基础设施发展,第二章主要探讨了以下话题:

☞ 多元算力:CPU + GPU

☞ 摩尔谢幕,Chiplet 当道

☞ Chiplet 与芯片布局

☞ Arm 新升:NVIDIA Grace 与 AmpereOne

☞网格架构的两类 Chiplet

Arm在过去十年中一直期望能够在服务器市场获得一席之地。亚马逊、高通、华为等企业都推出了基于Arm 指令集的服务器 CPU。随着亚马逊的 Graviton、Ampere Altra等系列产品逐渐在市场站稳了脚跟,Arm在服务器CPU市场渐入佳境。而且,随着异构计算的兴起,Arm 在高性能计算、AI/ML算力基础设施中的影响力正在扩大——或许,随着Neoverse V2 推出和英伟达加入战团,Arm 在服务器 CPU 领域有望从一个参与者变为领先者。

早在2021年,英伟达就对外介绍了基于 Arm Neoverse 架构的数据中心专属CPU —— NVIDIA Grace,拥有72个核心。Grace CPU超级芯片(Superchip) 则由两个Grace芯片组成,它们之间通过NVLink-C2C(Chip-2-Chip) 连接在一起,可以在单插座内提供144个核心,以及1TB LPDDR5X 内存。除了双 CPU 的组合,在GTC2022上,NVIDIA还宣称 Grace可以通过NVLink-C2C与Hopper GPU连接,组成Grace Hopper 超级芯片。

NVIDIA Grace 是基于ArmNeoverse V2 IP的第一款重磅产品。目前还没看到 NVIDIA Grace 晶体管规模的相关资料,不妨先参照两位“前辈”的数据。据推测基于Arm Neoverse V1 的 AWS Graviton 3是550亿晶体管,对应64核、8 通道DDR5内存;据推测基 Arm Neoverse N2的阿里云倚天710是600亿晶体管,对应128核、8 通道DDR5内存、96通道 PCIe 5.0。从 NVIDIA Grace Hopper 超级芯片的渲染图看,Grace 的芯片面积与 Hopper 近似,而已知后者为800亿晶体管,二者均基于台积电 N4制程节点。据此推测72核的 Grace 芯片的晶体管规模大于Graviton 3、倚天710 是合理的,也与 Grace 基于Neoverse V2(支持 Arm V9 指令集、SVE2)的情况相符。

Arm Neoverse V2 配套的互连方案是CMN-700,在NVIDIA Grace这里称作SCF(ScalableCoherency Fabric,可扩展一致性结构) 。英伟达宣称 Grace 的网格支持超过72个CPU核心的扩展—— 实际上,在英伟达白皮书的配图中可以数出来80个CPU 核心。每个核心1MB L2缓存,整个CPU有多达117MB L3 缓存(合 每个核心 1.625MB) ,明显高于其他同属“旗舰级”的 Arm 处理器。
image249.png

△ NVIDIA Grace CPU 的网格布局

NVIDIA SCF在芯片内的设备(如CPU核心、内存控制器、NVLink等系统 I/O控制器)之间提供3.2 TB/s 的分段带宽。网格的节点称为CSN(Cache Switch Nodes, 缓存交换节点),每个CSN通常要连接2个核心及2个 SCC(SCF Cache partitions,SCF 缓存分区)。但从示意图来看,位于网格角落的4个CSN 连接的

是2个核心和1个SCC,而位于中部两侧4个CSN连接的是1个核心和2个 SCC。整体而言,Grace 的网格内应该有80个核心和76个SCC,其中8个核心应该是出于良率等因素而屏蔽。而网格外围“缺失”的4个核心和8个 SCC 对应的位置被用于连接NVLink、NVLink-C2C、PCIe、LPDDR5X 内存控制器等。

NVIDIA Grace支持Arm的许多管理特性,譬如服务器基础系统架构(SBSA) 、服务器基础启动要求(SBBR) 、内存分区与监控(MPAM)、性能监控单元(PMU)等。通过Arm的内存分区和监控(Memory Partitioning and Monitoring,MPAM)功能,可以解决CPU 访问缓存过程中因为共享资源的竞争导致的性能下降问题。高优先级的任务可以优先占用L3缓存, 或者根据虚拟机预先划分资源,实现业务之间的性能隔离。

image253.gif
△ NVIDIA Grace CPU 超级芯片

NVIDIA Grace作为已知的最新最强版本Arm架构核心(Neoverse V2)的实例,再加上其必将获得自家GPGPU的深厚实力加持,业界从一开始就给予了高度关注,期待其在超算、机器学习等领域的表现。在GTC2023上,人们终于看到了Grace的实物,其实际市场表现仍需要一段时间的等待。
image255.gif

△ GTC2023 演讲中展示的 Grace 超级芯片实物

image257.gif
作为Arm Neoverse V1的“后浪”,Neoverse V2的升级可以说是全方位的,包括基于Armv9-A 指令集、更高的性能和微架构能效,加上更多的核心数和更大的L3缓存,NVIDIA Grace CPU在Arm版图中高于 Graviton3,是可以预期的。

英伟达毕竟是Arm服务器CPU领域的新手,在这方面资深的Ampere Computing(安晟培半导体) 经过多代产品积累之后,在2023年5月中正式发布拥有192个单线程自研核的 AmpereOne 系列处理器,这个核心数量也创下了(主流)服务器CPU的新纪录。

AmpereOne采用台积电5nm制程,提供的Ampere(A1) 核数量覆盖136 ~ 192个的区间,每个核心配备2MB L2缓存,这一点与Neoverse V2(的上限)相当,达到Ampere Altra和Altra Max系列的两倍。系统级缓存(SLC)为64MB,分别是Altra和Altra Max系列的2~4倍,与AWS Graviton3持平。

其他如8通道DDR5内存和128个PCIe 5.0通道,都属于新一代服务器CPU 的正常水平。

由于每个核心相对不那么复杂,又采用了比较先进的制程,AmpereOne 系列的使用功耗在200 ~ 350瓦(W)之间,平均每核心不到2瓦。NVIDIA Grace CPU的功耗也不算高,超级芯片加上内存的TDP“才”500瓦,即单个(72 核的)Grace CPU在250瓦以内。
image259.gif

尽管从核心微架构到外部I/O都获得了全面的升级,但AmpereOne并没有 取代Altra和Altra Max系列的任务,Altra Max系列继续提供128核与96 核,Altra系列覆盖 80 核及以下的需求。我们认为,这种布局也与网格架构的特性有关,我们接下来讨论这个话题。(未完待续)

推荐阅读
关注数
5027
内容数
335
E企实验室由E企研究院专职产品技术分析师针对数据中心、云计算、AI和5G等领域最新技术和应用研究、验证、试用、分析,数据中心级新产品新技术的市场教育,国内唯一同时研究互联网和传统企业IT基础设施的机构和部门
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息