企业存储技术 · 2020年07月09日

4U 10卡机器学习服务器:为什么PCIe比NVLINK能效比高?

本文内容非商业用途可无需授权转载,请务必注明作者及本微信公众号、微博 @唐僧\_huangliang,以便更好地与读者互动。

上一篇《_DTW2019新品抢先看:Unity XT、VxFlex OS 3.0、PowerProtectX400_》之所以写的早了点,本来我是想五一假期多休息一些,更多的考虑不必在此细讲。但今天我还是想跟大家聊聊Dell Technologies World 2019(前身为EMC World)上的另一款新品——DSS 8440服务器。

image.png

Dell EMC DSS 8440__这张高清大图,大家可以从https://corporate.delltechnol...

不难看出这机箱是4U的,里面最多可以插10块NVIDIA双宽度GPU计算卡——现在也没啥太多选择,就是300W功耗的Tesla V100。单纯从计算密度来看,有的朋友可能知道1U4卡、2U 8卡的机型,乍一看起来4U 10卡显得并不算多?其实这里面是有讲究的,是权衡多方面因素之后的结果,您慢慢跟着我往下看。

散热:一个贯穿全文的话题

首先是散热设计,DSS 8440位于前端的12个大尺寸风扇也比较显眼的。进入机箱的气流首先照顾到GPU,然后CPU和系统内的其它组件。该机型可以在满配下支持到标准的35℃散热进风,这一点可是那些1U 4卡、2U 8卡(300W)GPU服务器做不到的哦。

image.png

上图是一台Dell PowerEdge C4140__测试机,在1U__机箱内支持4__块300W__加速卡,可以是NVIDIA Tesla__系列也可以兼容Intel Xeon Phi__等。

C4130和C4140 GPU服务器的散热风扇排在偏机箱中部,也就是GPU的后面。如果将风扇改到机箱前部进风口出,我觉得对GPU的散热效果可能稍会好一点,但是从吸风变为吹风,40mm小尺寸风扇在这样狭长的空间内估计会产生更大的风阻,对后面的CPU等散热可能不利。

其实这方面话题我在4年前的《_四路服务器进化:R930内存板瘦身、偏置CPU散热_》中就讨论过,也许不够专业,但早年我毕竟还是做过散热测试工作的。

PCIevs. NVLINK: AI应用别忽视能效比

image.png

image.png

如上图,PowerEdge C4130和C4140除了支持双宽PCIe计算卡,还可选一种4个SXM形态Tesla P100/V100的配置,价值是除了PCIe互连之外,GPU之间还有专用的NVLINK高速通道,主要适合一些对数据交换带宽敏感的HPC应用。

回过头来再看新发布的DSS 8440,好像不是业内第一个做到4U 10卡的密度,那么它还有哪些特点呢?似乎没有NVLINK的支持,会不会有性能上的影响?

image.png

机器学习中的训练(Training__)——根据初始模型不断经过数据集的训练,这样一个优化的过程。

其实DSS 8440一开始就把自身主要定位在机器学习(AI)应用,如今这方面的市场需求和增速都比较大。并且在机器学习/深度学习领域,如TensorFlow 、PyTorch、MXNet这些框架对GPU之间的数据带宽没那么敏感,大家可以看看下边PCIe和NVLINK的测试对比:

image.png

注意:该图表对比的是电源效率,即能耗比。

根据Dell EMC给出的数据,DSS 8440在配置8个Tesla V100的情况下,AI训练的绝对性能比DGX-1低大约5%,但上图中却能看到前者使用的PCIe GPU有更好的能耗比,这是为什么呢?

image.png
SXM2模块支持NVLINK也是有代价的,它会比PCIe Gen3的V100卡多出50W功耗,但单卡性能远没有高出20%哦。另外对于DSS 8440服务器而言,将散热进风温度限制提高到35℃,可以支持的机房范围更广,可以降低空调的耗电,同时有助于数据中心在保持风冷的情况下获得更好的PUE。

扩展阅读:《_后IB时代的GPU服务器:48V和液冷哪个先行?_》

存储、I/O扩展更均衡

image.png
这张照片引用自国外网站https://www.servethehome.com/...,人家估计是去了DTW__大会现场。

从后面看DSS 8440最下面有4个2400W电源模块。然后右侧有10个2.5英寸热插拔驱动器位,据了解其中最多可选支持8个NVMe SSD。没有3.5英寸HDD支持我觉得应该问题不大,因为HPC、AI应用的海量数据大多是连接外部的网络存储,比如Lustre集群啥的。

我还看到机箱后部大量的散热开孔,这些都是为了保证10块300W GPU的热量能够顺利排出。至于PCIe扩展,还有8个全高槽位,高速网卡如InfiniBand啥的也不发愁了吧。

除了GPU,还支持Graphcore

image.png
根据我的经验,深度学习中的训练通常使用单精度浮点(FP32)或者半精度浮点(FP16)计算,而推理(Inference)的计算精度可能会用到INT4、INT8整数或者FP8浮点计算。比如说Intel最新一代的Xeon Scalable X200系列CPU加强的AI指令集,应该主要就是为了补强FP8性能。

image.png

大家可能见过上面这一类的图,CPU做为通用处理器可编程性和灵活性最好;而越是偏向专用计算领域,其性能效率的排名就是CPU<GPU<FPGA<ASIC。FPGA的两大厂商许多朋友应该都不陌生了;ASIC比如Google的TPU不对外单独卖,我还写过《_FacebookAI基础架构(上):Intel Nervana推理加速器_》,而本次Dell发布DSS 8440时提到的Graphcore也是同一类产品。

image.png
Graphcore的计算卡称为IPU,号称能提供2PFLOPs的性能。4.8GB片上内存与后面的720TB/s看上去有点恐怖?我怀疑这个带宽数字可能是整个DSS 8440里面多卡(多芯片)的总和,不过也够猛了吧。

编程框架支持C++,这一点有点像CUDA,还不知实际用起来如何。DSS 8440支持8个IPU卡,Graphcore之间的互连——IPU-LINKS带宽为2.5Tb/s(≈250GB/s)。怎么样,值得期待不?

关于GeForce支持问题:纯技术讨论

尽管NVIDIA已经明令禁止在数据中心使用GeForce显卡(区块链/挖矿除外),但想追求性价比的用户似乎国内外还是有。到了RTX图灵这一代GPU,GeForce和(不低于2060)Quadro(不低于RTX4000)应该都具备了Tensor Core和混合精度;而除了低功耗的Tesla T4之外,NVIDIA还未正式发布更多Tesla新型号,于是也开始放开Quadro专业显卡用在一些服务器上。

Tesla和Quadro是企业级产品,3年质保、高负载下的稳定性要比GeForce更好,挖过矿的朋友估计会深有体验:)游戏显卡大多只提供1年保修(随系统提供商政策可能不同)。

image.png

上面这段英文是Serverhome网站对Dell EMC的提问,回答比较官方——“DSS 8440不会在近期验证对GeForce RTX的支持”。这里我还想补充一点技术理由,如下图:

image.png
这是一块涡轮风扇公版的RTX 2080,从后挡片出风的散热设计。与Tesla不同的是,GeForce/Quadro有数个显示输出接口,因此I/O挡片上的出风孔面积要小一些。如果传统上显卡位于机箱风道的最后端,那么主动散热不会有什么问题。但别忘了在DSS 8440中GPU是位于机箱前部,GeForce的散热设计可能会影响到系统整体的散热气流。还是那句话:术业有专攻!

另外我还担心一点,2块250-300W的GeForce显卡并排挨着还好,但如果是4-10块中间没有间隔,涡轮风扇这种设计是否还能长期保证显卡的散热?我不是很确定。相比来说,下面这种结构应该会相对好些。

image.png

这张照片是塔式/5U的PowerEdge T630/640服务器,官方支持4块300W Tesla GPU,如果选配专门加在后面的排气风扇,对机箱内部风速/风道的要求估计会降低。尽管它也没看到有GeForce出厂的配置,但至少左右两边各2块卡的设计,热量没有那么集中,当然密度也是不DSS 8440水平的。

从某种角度来说,对Quadro和GeForce支持最好的应该还是工作站,比如Precision T7920和2U机架的R7920,都能支持到3块高功耗双宽显卡。并且前者是塔式工作站,如果想放在办公室有静音的需求只能用这类机型。

参考资料:Dell EMC DSS 8440: A Dynamic Machine Learning Server

https://blog.dellemc.com/en-u...

推荐阅读

本文转载自企业存储技术微信公众号,[原文链接点这里]。
注:本文只代表作者个人观点,与任何组织机构无关,如有错误和不足之处欢迎在留言中批评指正。 进一步交流技术可以加我的微信/QQ:490834312。
尊重知识,转载时请保留全文,并包括本行及如下二维码。感谢您的阅读和支持!《企业存储技术》微信公众号:HL_Storage,也欢迎关注企业存储技术极术专栏,定期更新。
42.jpg
推荐阅读
关注数
5551
内容数
232
关注存储、服务器、图形工作站、AI硬件等方面技术。WeChat:490834312
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息