目录
- 冷板式液冷下一步：内存、板卡覆盖？
- 单相浸没式液冷的机会
- 双输入电源、48V/54V输出与DC-DC模块
昨天北京的沙尘天气好了一些，我去参加了一个《_英特尔可持续发展高峰论坛_》，顺手给大家分享些技术上的收获和思考。
本次的主题是绿色和节能，在服务器领域能够提供更好PUE的液冷算一个重点吧；另外就是做PC、笔记本的厂商宣传他们的外壳、包装等使用了环保材料等。
冷板式液冷下一步：内存、板卡覆盖？
关于服务器风冷/液冷散热，我之前写过几篇，没看过的朋友也可以先参考一下：
《350W+ CPU、700W+ GPU功耗：冷板和浸没式液冷哪个更有前途？》
《Dell PowerEdge R760_服务器：风冷vs._液冷散热限制》
服务器里出现液冷，一开始主要针对CPU。PCIe插卡形态的数据中心GPU，NVIDIA都还是被动风冷散热的设计。而我也在前文中写过，随着主板上DIMM数量密度增加、256GB这样大容量DDR5内存的出现，风冷配置也可能出现一定的限制。
上图是Intel展出的内存液冷方案，我们看到每条内存上都套了一个“马甲”。另外右侧应该是PCIe I/O板卡上也覆盖了内嵌铜管的散热片。我注意到这套方案针对的是1U半宽（2U 4节点密度等同）的服务器节点。
这是一套1U 2x双路节点服务器的冷板式散热，不难看出其复杂性和成本应该明显超出只给CPU覆盖冷板。现在第四代Xeon Scalable CPU TDP可达350W，即使在1U2和2U4节点这种高密度服务器上，只要把CPU热量用冷板带走，内存和网卡等用风扇来散热通常还好解决，除非是同时还要配GPU等高功耗板卡——我觉得这里可能还要涉及到对原有PCIe板卡散热片的定制改造。
上表来自Dell技术文档《_PowerEdge C6600__安装和服务手册_》，供大家参考。可以看到当2U 4节点里面配置的8颗CPU采用冷板散热器之后，所有存储（机箱盘位）配置下都可以支持35℃环境进风温度。要说有一点限制，就是不能配NVIDIA A2 GPU卡了。
高密度多节点服务器，对应的主要目标客户群应该是HPC高性能计算，而该群体确实是液冷普及率较高的，有机会我再对这类服务器做进一步讨论吧。
单相浸没式液冷的机会
我在前文中也提到过，尽管双相蒸发型浸没式液冷能够支持的CPU功耗更高，但在成本和复杂性上短期内不见得能大规模普及。反而是单相浸没液冷在本次有几套展出，服务器行业专家赵总对我讲，单相浸没式的冷却液损失率明显比双相较低。
上面是绿色云图+Dell展出的单相浸没液冷机柜，虽然这次现场没有真的泡液体，但里面的服务器机型我去看了一下。
从右往左的3款2U服务器，分别是PowerEdge C6400（4节点）、R750和XR12。
浸没散热对服务器要做一定的改造：
-首先风扇肯定要去掉，BMC__里面对应的风扇、温度传感器也要调整；
-一旦拔出来维修，由于散热原因在外面一般无法做开机调试，需要泡回到液体里；
-为了保持足够的散热面积，CPU__上面的散热片还要保留，但硅脂就不需要了；
-如果配HDD__机械硬盘必须用密封充氦的，这一点应该是常识了。
双输入电源、48V/54V输出与DC-DC模块
本次服务器电源的展位，我看到有台达（Delta）和长城两家。
上面照片里是3600W双输入的电源模块，也就是带2个交流电源输入插座。根据标签来看，单路输入时最大12V输出电流为148A，双路输入则可支持到295A，里面估计是2个独立模块，+12V输出则并在一起。
如此设计可以使每一路输入不超过10A电流，这样就不用专门的16A插座和线缆。另外还可以连接到2个PDU，在机柜一路掉电时达到类似冗余电源的效果（前提是功率负载别跑太高）。
如果需要像N+M冗余电源那样支持在线热更换，这种“双输入”电源模块也可以安装多个。比如以前4个1800W 2+2冗余电源，就可以拿2个这种3600W双输入模块来替代，同时更绿色一点吧？
我还看到台达的3200W 54V输出电源，不过现在服务器主板能直接支持48-54V输入的应该还不多。当前有些刚需的，应该是像NVIDIA H100 SMX（700W）一类的高功耗GPU等，扩展阅读：《后IB__时代的GPU__服务器：48V__和液冷哪个先行？》。
当然以上限制也不是绝对的，高电压的损耗会低些。更多参考《PCIe 5.0__供电规范：12V 600W__如何实现？》
如果电源模块为了GPU而换成48V左右输出，那么服务器主板上应该还要增加48V to 12V的DC-DC转换电路。下面2张照片，就是台达展出的一个模块正反两面。
如上图，DC-DC与主板焊接的这个面，中间最大面积的铜是接地，左边是+12V输出，48V输入则在右边。
Intel还展出了一套VRCM（电压调节器通用模块）方案，可以插在主板上的几个模块，分别为CPU、内存和其它设备提供48V到12V的转换。这让我想起早年服务器主板上插的CPU VRM模块（如下图）。理论上用不同功耗的CPU等也可以灵活配对应的VRCM吧？竖起来插还能节省点主板上的面积，当然在VRCM上散热片也是需要的。
相比以前直接专为CPU供电的VRM模块（现在都做到主板上了），48V到12V DC-DC转换模块体积要小多了，效率也较高。
作者：企业存储技术
原文：企业存储技术
推荐阅读
- SNIA Compute+Memory+Storage 2023峰会资料
- 风冷双路350W：PowerEdge 16G服务器的Smart Flow机箱选项
- PERC12 (H965i) RAID卡测试配置更正 & 报告分享
欢迎关注企业存储技术极术专栏， 欢迎添加极术小姐姐微信（id:aijishu20)加入技术交流群，请备注研究方向。
