之前给大家介绍过《Meta 的 GB200 液冷 AI 服务器 - Catalina》，今天再分享一下基于 x86 开放平台的 HGX B200 服务器。
如下图，NVIDIA 的 HGX B200 8-GPU 模组早已不是新闻了，这张照片引用自国外网站在OCP 2024 峰会期间的报道。
与前一代 DGX/HGX 模组也就是 Hopper 相比，新一代 Blackwell 只在 HGX B200 这块板的中央放了 2 颗 NVSwitch 交换芯片，负责 8 颗 GPU 之间的 Scale-up 互连。
这张标贴上的示意图，就来自我今天要介绍的 HGX B200 服务器。
不难看出，铜质冷板应该是覆盖了全部 8 颗 1000W 功耗的 B200 和 2 颗 NVSwitch 芯片。液冷的一个好处就是高密度，比如风冷的 DGX B200 需要 10U 机箱，而使用上方模组的 HGX B200 服务器只要 4U 就可以。
上图截自 PowerEdge XE9680 风冷服务器的文档，可以看到左下方有 4 个高高的散热片——下面压着的就是 NVSwitch。
上图我在《AI 集群 Scale-Up 互连：展望 UALink 与 NVLink 的竞争》一文中也引用过。虽然 DGX H100 的 4 颗 NVSwitch 具备将 NVLink 对外连接到交换机的 Scale-up 扩展能力，但我看到一些服务器厂商却并没有把接口做出来。
其中原因在这里先不展开讨论了。因为 H20 的时代，算力被砍了——主要是用于推理，单机内部 NVLink 能容纳 DeepSeek 671B 这样的大模型就好。跨服务器之间的互连可以用 Scale-out 网络。
可能大家对 H20 的后续产品感兴趣。无论叫 B20、B40、6000D 啥的，估计功耗没有 B200 的 1000W 那么高，对液冷的依赖程度也会降低吧？
这是 Dell 最近公布的一些产品计划，个人感觉下一批“China 版本 GPU”可能还是风冷的机型比如 XE9780/XE9785 更受青睐些？如果有 RTX Pro 6000 也出降频版本的话，那 PCIe 卡的平台 XE7745 现成可用。如果您觉得我写的有点道理，那么其他品牌也可以此类推对应的机型。
扩展阅读《DeepSeek 时代：关于 AI 服务器的技术思考（PCIe 篇）》
我还看到 “Dell PowerEdge XE9785 and XE9785L servers with AMD Instinct™ MI350 Series GPUs will be available in 2H 2025”
——引用自 https://www.dell.com/en-us/dt...
下面还是先回到当前已发布的 XE9685L，我曾在《风冷、液冷 GPU 服务器密度提升 - PowerEdge 17G 整机架预览 (2)》中也提到过这款机型。
PowerEdge XE9685L 是戴尔最新推出的基于 AMD 平台的 2 路 4U 直接液冷机架式服务器，专为 AI/ML 和高性能计算 (HPC) 工作负载设计。
该系统的主要特性包括：
- 搭载两颗第五代 AMD EPYC™ 9005 系列处理器，每颗处理器最高支持 192 个核心。
- 24 个 DDR5 DIMM 插槽，提供高带宽内存支持。
- 6 个 3000W 钛金级 AC 电源，支持 3+3 容错 (FTR) 和 5+1 冗余策略，适用于配备 NVIDIA HGX B200 SXM6 GPU 的系统。
- 顶部配备 6 个高性能 CPU 散热风扇，底部配备 6 个高性能 GPU 散热风扇，确保高效散热。
- 最多 12 个 PCIe Gen5 插槽，支持最新 PCIe Gen5 设备和网络设备，提供灵活的网络设计。
- 最多 8 个 U.2 NVMe SSD 硬盘（PSBB 直连），提供高速存储性能。
- 8 个 NVIDIA HGX B200 GPU，配备 PCIe Gen5 模块，增强 AI、大语言模型 (LLM) 训练、微调、推理以及高性能计算能力。
我先数了一下冷板液冷的进出管路——一共是 6 对，只有 1 对用于 2 颗 CPU（最高共 1000W），剩下 5 对是用于 8 个 GPU（满载共 8000W）和 NVSwitch。
红框标出的部分，是服务器主板扩展出来的接口，包括网卡和管理等。
虽然机箱宽度仍是 19 英寸，但 XE9685L 的机身深度比较长——1001.57mm。上图可以看到红框部分的 PDB 电源分配板；CPU 和内存还在导风罩的覆盖下。
参考上一篇《1U 2000W 高密度 CPU 服务器：风液混合散热 & Open Rack 50V 供电》，power distribution board 在这里应该也是用于将 48-54V 直流供电转换为 12V。XE9685L 带了 6 个 3000W 交流电源模块，但由于支持 HGX GPU 模组的原因，应该还是要先统一转换为 48-54V。（这里如果我理解有误，请读者朋友在下面留言指正。谢谢）
现在可以看到 CPU 散热器和内存了吧：）
位于 2 颗 AMD EPYC 9005 系列处理器上的冷板液冷吸热片
如上面示意：左边是后视图，右边是顶视图——又分为上半部分（2U 高度，包括主板、CPU、内存、Power Supply 等）和下半部分（也是 2U，主要是 GPU 模组，以及 PCIe 扩展板）。这里可以留意下 12 个蓝色风扇的位置，以及风冷的辅助散热。
我用红框标出的位置，就是 4 颗 PCIe Switch，旁边加高的“散热塔”下面应该没有芯片——只是用热管拓展出去的鳍片部分。看来 PCIe Switch 的功耗也不低，前面一张图的 7-12 风扇要照顾它们以及 PCIe 板卡。
您能看到主板上 BMC 芯片的位置吗：）
由于机箱长度的原因，XE9685L 的主板（也是 OCP MHS 规范尺寸）与后端的 OCP 网卡之间应该是加了一段延长的 PCB。
如上图，这块 rear I/O 板引出的是管理口，但 BMC 主控却不在小板上面，估计是为了沿用之前 XE9680 等的连接器（如下图）。像我上一篇写的PowerEdge M7725，就改成 DC-SCM 标准化 BMC 管理模块了。
参考资料
https://dl.dell.com/content/m...
扩展阅读：《企业存储技术》文章分类索引更新（微信公众号合集标签）
END
作者：唐僧huangliang
原文：企业存储技术
推荐阅读
- Ryzen AI 300商用笔记本评测 & Zen5+Zen5c多核效率分析
- 使用 LlamaIndex 和 Ollama 在 AMD Radeon 显卡上构建 RAG 系统
- 从 Qwen3 MoE & 稠密模型性能测试-看 CPU/GPU 算力需求
欢迎关注企业存储技术极术专栏，欢迎添加极术小姐姐微信（id:aijishu20)加入技术交流群，请备注研究方向。
