前不久看到OCP(Facebook主导的Open Compute Project)放出的一份ARM服务器资料。当前我工作中很少接触ARM平台,趁机简单补了点课,顺便分享给大家。
好几年前我就提到过,Wiwynn(纬颖)是Facebook服务器ODM的重要供应商,包括我在今年2月写的《下一代Xeon服务器:Ice Lake-SP通用云平台设计预览》》里面的Junction City平台,也是来自Wiwynn。
图片点开后可放大(以下同)
具体到这次的ARM服务器,支持2颗Ampere Altra / Altra Max CPU。同一块主板可用于1U和2U机箱,对应的CPU TDP(热设计功耗)为210W和250W。
内存支持是每颗CPU 8通道(2DPC)DDR4-3200,双CPU一共32个插槽,最大8TB容量。基本上和Intel Icelake-SP(第三代Xeon Scalable)处于同一水平。
包括PCIe Gen4插槽、OCP 3.0网卡、存储驱动器位啥的,下文中都有图片提到。上面一页还有个重点,就是UEFI BIOS和BMC Firmware,一方面可以使用AMI AptioV和AMI MegaRAC,当然要买License;Ampere还提供了OpenBMC FW和来自开源社区的Tianocore/EDK-II UEFI固件(文末有一页列出github的链接)。OpenBMC适合有能力的小伙伴,可以为不同(供应商)主板定义统一的管理监控平台API接口。
Mt. Jade是这款ARM服务器(主板)的代号,1U、2U机型除了CPU和主板之外,尽量沿用x86平台成熟的设计。
图片引用自Ampere® Altra Max™ Datasheet,官网可以下载的详细文档。
上面是Ampere Altra Max CPU的结构图——包含最多128个Arm v8.2核心(Altra系列最多80核);每颗CPU除了8通道内存控制器之外,还能最多提供128个PCIe Gen4 lane,其中4组(也就是一半)可以重定义为CCIX互连,是不是有点像AMD EPYC?
Mt. Jade主板概览
2颗Ampere Altra / Altra Max CPU使用的插座是LGA4926,pin脚数量超过当前的Xeon和EPYC。上图中右侧文字写的32通道内存有误。Mt.Jade主板上每CPU引出96 lane PCIe Gen4;双CPU之间互连是2个(x16)25Gbps的CCIX链路,这个总互连带宽应该是100GB/s全双工。
扩展阅读:《CXL、GenZ、CCIX架构以及未来的PM、内存和SSD形态》
关于上图,我想补充解释的就几点:
1、FanConnector风扇接口多达14个,应该是为了适配不同机箱;
2、Sliver Connector都是PCIe lane,上一张主板结构图里有写;
3、我用红框标出的PCIe插槽,是用来插Riser转接卡的,当然也有的Riser要用到Sliver Connector的连接线。
1U机箱是比较传统的8个4056风扇模组,12个2.5英寸U.2 NVMe SSD仓位模块。
接着前面的讨论,Mt. Jade 1U机型的Riser #4 PCIe Riser卡,需要用2个MCIO x8 + 线缆与主板上的Sliver Connector连接。
2U机型是6个6056的风扇排。前置驱动器仓位和热插拔背板可选12个3.5寸和24个2.5寸(SAS/SATA或NVMe),机箱后侧电源上方还可以放2个2.5英寸SSD。
Mt. Jade 2U的PCIe Riser #3转接卡,其下方金手指只能从主板获得x8 PCIe Gen4 lane,另一个x16插槽也要连线到Sliver Connector。
上面这些链接,是Ampere Mt. Jade开源贡献的OpenBMC和Tiancore (Github) / EDK2 UEFI固件。
今天就先简单写到这里吧,再聊几句题外话:)Ampere ARM CPU的服务器,既不像鲲鹏、飞腾那样可能在制造上被卡脖子,同时也享受不到XC的红利。听有的朋友说,如果NVIDIA收购ARM最终卡在中国(前提是英国那些放行了),不排除ARM会退出中国市场?如果真有那一天,国内公司就不能从ARM购买新的架构授权,也不知对Ampere的业务影响如何。
从这个角度上,还真的有点不希望NVIDIA收购ARM成功。我不太喜欢看到技术以外的因素影响到市场,但这些有时也不是技术人可以决定的。
参考资料
《Ampere®️Altra®️ & Altra®️ Max Mt. Jade Aarch64 2-Socket Overview》
链接:https://pan.baidu.com/s/1domMS5DpcyjqKwW57wji8g
提取码:tdxz
https://amperecomputing.com/altra/
《Arm服务器走势:Ampere的新路标与AWS Graviton3猜测》by Winnie Shao博士
作者:企业存储技术
原文:https://mp.weixin.qq.com/s/IolAucK4R0BQkDAOAXDF3g
推荐阅读
欢迎关注企业存储技术极术专栏