风冷与液冷
如果机柜有较为充足的供电能力,或者数据中心有更强的制冷能力(譬如,液冷)配套,1U 服务器在计算密度上的优势,就更容易发挥出来。在高性能计算(High Performance Computing,HPC)场景,或者大型互联网和云计算公司的数据中心,见到 1U 服务器的机会相对较高。
以百度、阿里、腾讯(BAT)联合英特尔发起的天蝎整机柜项目为例,早期的节点都是 1U 高度,包括存储节点(JBOD)。2018 年数字中国万里行最后一站是百度阳泉数据中心,8.8 千瓦(KW)的 46U 机柜安装多达 35 个 1U 计算节点。
△ 和林格尔东方超算云数据中心内景
在算力篇曾经提过,2017 年推出的 x86 服务器 CPU,高配版本的 TDP 有大幅度的跃升(最高接近50%),而公有云服务提供商倾向于采用这一档次的产品。在这种情况下,如果单机柜的供电能力不能“水涨船高”,1U 节点的密度优势将很难体现。
即使解决了供电问题,还有散热(对数据中心基础设施侧,是”制冷”)的挑战,而这正是液冷的优势。阿里巴巴 2018 年在河北省张家口市张北县部署了一个浸没式液冷(Immersion Cooling)机房,一个卧置的 54U 机柜,部署 32 台 1U 双路服务器和 4 台 4U 的 JBOD,设计功耗 28 千瓦。
△ 中国电子信创云基地(顺义)机房内的 2U 服务器
其他公司多在布局基于冷板(Cold Plate)的“风液混合”冷却技术, 即发热量最大的 CPU 等芯片通过冷板内流经的液体把热量带到机柜外,内存条、硬盘等发热量较低的元件仍然用传统的风冷。以华为乌兰察布云数据中心为例,机房里部署了 20 千瓦的液冷整机柜服务器 FusionPOD,园区内还有相对独立的小型液冷机房 FusionCell,由类似集装箱体的供配电、机柜和制冷模块各一组成。
△ 华为云东莞松山湖数据中心部署的 Atlas 900 集群,单机柜功率达 53 千瓦,采用风液混合技术散热
那么,液冷服务器的时代是不是很快就能到来呢?肯定还需要一段时间来过渡,关键是这个过渡的势头如何。
先从数据中心基础设施(风火水电)这一侧来看,近期规划和建设的数据中心,风冷机房仍是绝对主流,液冷机房主要在扩大实验阶段或满足一些特定应用场景如 HPC 和 AI 集群的需求。
如果应用侧并没有硬性需求,那么提高功率密度并引入液冷方案,就必须考虑成本因素。在一个风冷具有天然优势的生态里,液冷的 CapEx(资本支出)显然更高,而OpEx(运营成本)也难言优势—— 除了PUE(Power Usage Effectiveness,电源使用效率)。
△ Atlas 900 集群的机柜与 CDU(Coolant Distribution Unit,冷液分配单元)
在东数西算的布局中,西部的数据中心,从双碳角度应该有两大优势:一是就地消纳丰富的能源供给,特别是可再生能源(如风能和太阳能);二是气候条件好,可以充分利用自然冷源,降低对电能的消耗。其中,很多符合“西算”标准的数据中心,广泛应用了以间接蒸发制冷为代表的节能方案,在张家口数据中心集群、和林格尔数据中心集群的数据中心,一年有 10 个月以上的时间可以使用自然冷源,年均 PUE 可达 1.2,液冷方案的节能优势并不明显。
以浸没式液冷为例,阿里巴巴目前最大规模的部署其实位于“东数”地带——杭州仁和数据中心有一个全浸没式液冷机房楼。相比之下,张北的一个浸没式液冷机房更符合扩大实验的定位,其他机房还是相对“传统”的风冷方案,更多利用气候条件的自然红利就可以满足要求。华为乌兰察布云数据中心也是以 8 千瓦的风冷机柜为主,何况 20 千瓦的液冷机柜还有部分风冷(风液混合,制冷贡献大抵三七开)。
△ 腾讯云星星海服务器的冷板式液冷样机
总之,自然冷源是“西算”相对“东数”的一大优势,能用风冷尽量风冷——后面这句也适用于服务器,因为风冷服务器的环境适应性优势很明显。
从英特尔(Intel)和 AMD 的路线图来看,将于 2022 年推出的新一代 x86 CPU,旗舰型号的核心数不是超过 50 就是接近 100,TDP 都会逾越 300 瓦,落在 300~400 瓦(如cTDP,甚至更高)的区间。CPU 功耗进一步上升对液冷方案当然是个利好,但风冷也不是完全处理不了,采用更强力的风扇、优化内部风道设计等手段,都还管用。
实际上,英特尔在 2019 年已经推出过 TDP 高达 400 瓦的至强铂金(Platinum)9200 系列 CPU,而配套的 Intel Server System S9200WK 家族服务器,在支持 350 瓦 TDP 的 48 核 CPU(Platinum 9242)时,仍然可以使用风冷。需要指出的是,S9200WK 采用半宽节点设计,即 2 个 CPU 前后串列布置,散热效果不如并列布置的好。2U 服务器双 CPU 并列布置,结合T型散热器、强力风扇、优化气流等手段,支持 2 个 400 瓦 TDP 的 CPU,也是可以做到的。
从目前看到的基于英特尔新一代至强可扩展处理器(代号Sapphire Rapids)的服务器设计,风冷依然是可行的。再往后看,未来三年将是服务器从风冷向液冷过渡的关键时期,而冷板式液冷本身的“风液混合”气质也有助于其成为很多用户的首选液冷方案。
在需求侧,工作负载,或者说服务器和机柜的功率,仍然是决定采用液冷的首要因素。特别是大量采用 GPU 等高密度加速计算单元的服务器,即使风冷还能应付过来,改用液冷也会有更好的效果。
在供给侧,部署液冷服务器需要数据中心基础设施(制冷 + 供电)的紧密配合,最好供应商能够提供完整的解决方案。
大型互联网和云计算公司主导的超大规模数据中心,将对液冷服务器的大规模应用产生决定性影响。因为他们既有足够的体量和应用需求,对数据中心(基础设施)建设也有足够的掌控能力。
数字中国万里行也将加大对液冷服务器应用的追踪力度。
热通道与前维护
在《2018 中国超大规模云数据中心考察报告》的第六章,我们介绍了通过提高服务器工作温度来改善数据中心 PUE 的手段。服务器从机房的冷通道一侧进风,排风到热通道,在提高冷通道温度的基础上,增加服务器进出风的温差,节能效果更显著,也意味着机房热通道温度的进一步上升。
提高机房冷通道的温度,可以延长数据中心利用自然冷源的时长,降低年均 PUE,将是东数西算和双碳时代的普遍做法。
先举一个“西算”的例子:华为云乌兰察布预制模块化数据中心送风温度 25℃,回风温度 38℃,相应的,FusionCol 间接蒸发冷却机组(AHU)在室外湿球温度小于 19℃ 时可以只靠风机和喷淋系统为机房供冷,不用开启压缩机补冷,一年开启压缩机的时间不到 30 天,年均 PUE 可低至 1.15。
“东数”所在地没有这么好的自然条件,但即使是相对传统、保守的金融数据中心,也有上海证券交易所金桥数据中心这样的“异类”:送风温度 22℃,热通道温度 35℃。要知道,同期投产的某大行数据中心,冷热通道的温度还是 20℃/25℃的水平。
这些送回风温度较高的数据中心往往还有一个共同点,就是封闭热通道,将整个机房作为冷通道。
封闭热通道,可以采用水平弥漫式送风,无需设计下送风地板,从机房建设的角度能简化、降低投资成本,对机房运维的意义也不容忽视。22~27℃ 是运维人员比较舒适的区间,如果继续封闭冷通道,将整个机房作为热通道,35~38℃ 的高温环境对运维人员显然是很不友好的。
那么,这种变化对服务器有什么影响呢?
传统通用服务器在运维上有一个明显的弊端,即冷热通道都有维护频率较高的部件。暴露在冷通道一侧的是前面板,更换硬盘或 SSD(Solid State Drive,固态盘)的操作主要发生在这里;热通道一侧是后端,除了电源模块(PSU,供电单元)和电源线,主要是网线(包括光纤和光模块),有时也会有硬盘/SSD(用作系统盘)。
△ 中国电子信创云基地(顺义)机房内景,留意远端墙上的送风口
维护一台服务器可能要冷热通道两头跑,特别是热通道那头电源线和各种网线并存,往往比较杂乱,如果温度还很高,操作环境就更差了。
所以国内外大型互联网和云计算公司的超大规模数据中心,已经在部署前维护架构的服务器,譬如前面提到的天蝎整机柜服务器,以及阿里巴巴开源的“方升”项目,都把网络接口和扩展卡(如管理网口、OCP标卡、PCIe卡)、可插拔硬盘/SSD、服务标签、VGA 和 USB 等 IT 运维的部分放在服务器前面,也就是冷通道一侧;服务器后面,即热通道一侧,留给对接基础设施的部分,譬如电源模块和电源线,或者 12V/48V 铜排及风扇墙,如果采用冷板式液冷还有一组水冷管接头。
总的来说,类似的前维护设计,也在一定程度上实现了 IT 运维与基础设施运维的分离。当然,这是个比较概略的归纳,譬如,采用铜排集中供电的方案,连电源模块的更换都可以在冷通道一侧进行。
△ 采用前维护方案的阿里云方升架构(服务器)
前维护架构天然适配液冷方案,包括冷板式液冷和浸没式液冷。不过,由于网络接口和扩展卡会占用相当一部分前面板的空间,前维护架构不太匹配传统的 2U 存储型服务器(可以理解为 2U 通用服务器的重存储配置,如前面板配满 12 个大盘),更适合计算存储分离(存算分离)的整体架构。
公有云服务器提供商已经广泛采用存算分离架构,譬如阿里云基于倚天 710 CPU 的 g8m 实例和腾讯云基于 AMD EPYC 7002/7003 系列 CPU 的 SA2/SA3 实例,存储都采用云(硬)盘。在我们看到的一些星星海服务器的部署场景中,服务器前面原本可以布置硬盘/SSD 盘位和背板的区域都是空的(板载 M.2 和后面的 2 个 2.5 英寸盘位,可安装系统盘),没有需要维护的部分,而且更利于 CPU 散热。
液冷服务器和存算分离架构不会迅速扩散到大多数企业,2U 通用服务器在今后一段时间仍将是国内市场的主流。在天蝎 3.0 技术规范中,不仅支持 1U 和 2U 的节点设计,也支持 2U 的“标准机”,即通用服务器。另一个例子是阿里云基于方升架构的磐久服务器,在官网上放出的两款用于混合云的型号 AS2211TG1 和 AS2212TG4,就是典型的 2U 通用服务器。