狒话 · 2022年03月24日

2U百核服务器超A开箱体验

大家好,我是狒哥。从今天起,进入E企研究院的“超A服务器”开箱鉴赏时段,我们用4集的篇幅,与您一同参阅现代服务器变强的秘笈。

可能有人会说了,服务器变强还不简单?上更强的CPU,再不行上GPU,什么AMD、英伟达(NVIDIA)啊,都往上招呼!可是,咱老祖宗早就说了,庙小容不下大和尚。服务器这个“庙”不能随便扩容,CPU那个“和尚”却越来越“肥”,能耗呀,散热呀,扩展能力呀……都是挑战。

https://www.bilibili.com/vide...

我们的“超A服务器”系列,就是以超微基于AMD EPYC家族CPU设计的A+(APlus)服务器产品线为实例,分门别类,展开解析。这里的“超微”即Supermicro,1993年成立于硅谷,是全球知名的服务器供应商。

哎,你说巧不巧,AMD也有个中文名叫“超威”,威武的威。正所谓:超微+超威,E企看超A!

AMD的EPYC家族CPU已经发展了三代,第二代(7002系列,代号Rome)到第三代(7003系列,代号Milan)的变化不大,可以共用主板,譬如这几台超微H12代A+服务器,只要BIOS版本不低于2.0,就可以直接支持7003系列CPU,这也是低碳环保理念的一种体现。

CCD-Change.png
7002系列到7003系列的主要变化在CCD内部,消除了CCD内部的壁垒,直接把CCX的核芯从4个扩展到8个,CCD(≈ CCX)内部的32MB L3 Cache形成一个整体,每个核芯直接访问的L3 Cache倍增,加速了核芯与L3 Cache的通信,可以有效降低内存延迟

如同超微其他的服务器产品家族,H12代A+服务器也有1U、2U、2U多节点、GPU等多种类型和形态,让我们先从最常见的2U通用型服务器(H12 Ultra 2U)开始。

常见服务器的典型布局,从前到后可以划分为三大功能区域,依次是存储、CPU和内存、扩展和I/O。作为维持服务器正常运转的基础,系统散热风扇位于存储区和CPU区之间,电源通常在I/O区的一边或两边——也有搁中间的,下集我们会具体介绍。

这样的布置,前面的硬盘(HDD)或SSD,后面的各种线缆,都可以直接拔插,而不用移动或打开服务器机箱,方便运维操作。

2U服务器前面板可以安排12个3.5英寸大盘(LFF)位,这种做法可以追溯到SAS/SATA技术生态初步成熟的2007年前后,现在已经是2U通用型服务器的基本操作。以这款AS -2024US-TRT来说,正面3行4列,盘位号按从下到上、从左到右的顺序排列,默认配置12个SATA,可以通过更换背板等选件,提供8个SATA加4个NVMe,或者12个全是12G SAS的配置。

EPYC 7532.jpg

在2U服务器的中部,给CPU和内存留出了足够的空间。2个CPU,都配满8通道、16个DDR4-3200内存槽,一方面可以提供全部的内存带宽和容量,单服务器插满可达8TB RECC内存;另一方面,CPU与内存槽是完全的并列关系,互不遮挡,加之CPU可以使用较高的散热片,充分利用气流带走CPU发出的热量,所以这款服务器能够支持TDP(Thermal Design Power,热设计功耗)高达280瓦(W)的处理器,搭载2个64核128线程的旗舰级CPU如AMD EPYC 7763/7H12,就是一台“百核服务器”。

服务器内部的气流方向是从前向后,即先要流经硬盘或SSD,再吹向CPU和内存槽。目前单个3.5英寸硬盘的功耗在5~10瓦,前面板插满也就100多瓦,空气流过后的温升不会太显著,而且硬盘和某些特殊种类的固态盘也不适合工作在较高的温度下,放在冷通道这端比较稳妥。

要从硬盘之间的缝隙吸入空气,提供给CPU和内存足够的风量,系统风扇必须有较高的转速。譬如这台AS -2024US-TRT就配备了4个每分钟13500转(RPM)的8038风扇,可以直接插拔,每个的最大空气流速都在100CFM(Cubic Feet per Minute,立方英尺每分钟)以上,合计每分钟能吸入超过10立方米(m³)的空气,保证CPU和后面的高性能扩展卡不会“头脑过热”。

单个AMD EPYC 7003/7002系列CPU能提供多达128个PCIe 4.0通道,为这款AS -2024US-TRT服务器赋予了强大的扩展能力,包括:4个PCIe 4.0 x16插槽,其中3个可以容纳全高(FH)卡;2个PCIe 4.0 x8插槽,其中1个全高槽位也可更换为2个2.5英寸热插拔盘位,用来安装系统盘。

这些PCIe插槽位于免工具拆装的Riser卡上,其中靠近电源的这个Riser卡还集成了Intel X710-AT2网卡(NIC),提供2个标配的RJ-45万兆网口(10GBase-T),可以满足基本的企业应用需求。

Riser X710-AT2.jpg

为便于管理,主板后端集成了1个独立的(IPMI)管理网口,2个USB 3.0端口,还有VGA和串口各一。

超微采用2个1600瓦的钛金(Titanium)级供电单元(PSU)为整台服务器提供冗余电源。这款钛金电源在50%负载下的典型效率超过96%,20%的轻负载下也超过94%,比80 PLUS铂金(Platinum)电源高出2个百分点以上。按服务器工作在640瓦的情况计算,钛金电源比铂金电源每年省电100度以上,可以减少100多公斤碳排放,非常符合节能降碳的潮流。

高度不到9公分(89mm),长度不到73公分(723mm),内有双CPU多达128核256线程,32个DDR4-3200内存槽最大8TB内存,12个3.5或24个2.5英寸盘位,多个PCIe 4.0扩展槽可以安装高性能网卡和GPU/FPGA……计算、存储、网络兼顾,从虚拟化到云计算,从高端企业级服务器到超融合(Hyper-Converged)存储,这款2U服务器果然是全能选手。

什么?你说你想要更高的密度?下集咱就安排!

推荐阅读
关注数
2835
内容数
57
云计算、基础设施、大数据领域的技术话题
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息