狒话 · 2020年07月26日

开放新基建首播回放:ARM@数据中心、液冷与整机柜服务器

乘着“新基建”的东风,E企研究院主办的“开放新基建”系列谈话节目也于6月初开播了。作为一档谈话(聊天)节目,“开放新基建”系列聚焦于新基建中的信息基础设施,从互联网、云计算这些关乎我们每一个人生活和工作的应用入手,邀请战斗在一线的新基建实践者,畅谈信息基础设施建设的方方面面。
首批访谈分为两场,聚焦在今年疫情以来数据中心市场的需求和供给走势、生活和工作“线上见”对信息基础设施带来的影响、开放计算虚拟峰会(OCP Virtual Summit)所展现的服务器、存储、液冷、整机柜等方面的发展方向。

0605回放二维码-照片.jpg
识别狒哥在与国峰的合影中间奇葩放置的二维码,观看“开放新基建”开篇直播的视频回放,下面几段之后就是全文记录——视频or图文回顾随您选

正值“618”期间,“开放新基建”的开篇直播请来了京东云与AI硬件研发总监陈国峰先生,从超大规模用户的角度阐述疫情、直播带货对信息基础设施发展的影响。国峰还是国内最早在数据中心实践ARM、整机柜服务器产品化的人之一,本届OCP线上峰会也有他代表京东云与英特尔联合发表的京东数据中心先进液冷机柜设计的演讲,在这期直播中一一做了分享,现在已可在E企学院观看回放。

接下来的“第一期”直播则请到了国内服务器、存储领域的三位资深产品专家,包括“存储老兵”和“数据少将”(这个封号是狒哥我编的,为了对标前者)各一,从大趋势、客户应用、技术和产品设计的角度畅谈计算和存储的发展,探讨话题将包括但不限于:

  • 视频应用的计算和存储挑战
  • 存储性能如何跟上容量增长?
  • 微软和Facebook的存储新意思
  • PCIe 4.0有没有那么美好?

考虑到突出“存储老兵”与“数据少将”这对CP的缘故,上面列出的话题比较偏存储,其实关于Intel/AMD/ARM新三国演义、液冷、整机柜服务器等话题的内容一点也不会少!欲知详情,赶紧扫瞄下面图片中的二维码,报名6月18日晚7点半准时开始的新一期直播吧!

0603宣传海报.jpg

没有时间观看6月10日下午直播完整视频回放的朋友,我们也为您准备了谈话的全文记录,这条分隔线下面便是。

张广彬(狒哥):大家好,欢迎收看“开放新基建”系列谈话节目。我们今天请来的嘉宾是我的老朋友,京东云与AI硬件研发总监陈国峰先生。

陈国峰:大家好。

张广彬:国峰,咱俩好久不见了,今天主要是聊聊天。其实“开放新基建”这个系列是一个新的视频节目。关于这个视频,我们可能马上就要说到。主要还是谈一谈,今年提出新基建以后,数据中心、风火水电那一侧讨论的比较多。但是它怎么支撑业务?就像现在618大促活动期间,包括IT这一端服务器、存储、网络,我觉得谈的是比较少的,不知道你是不是也有这么一个感觉。

陈国峰:我觉得现在大家对新基建的概念,七个方向是大家比较明确的,但是每个方向里面的细节,涉及到的技术板块,其实大家还是在各自梳理,对技术领域和各个板块,每个公司和每个领域的看法都不太一样,至少还没有统一的很明确的。除了5G以外,我们看到部里有一些文件以外,其他的几个方向还没有定义的很清晰。各个公司可以看到的新基建,从基建的角度来讲大家关注基础设施会比较多,但实际上在基建后面,IT这一层次是下一个阶段大家会重点关注的内容。

张广彬:我觉得你说的非常对,其实就像发改委明确了新基建分三大类,其中有一类是信息基础设施。我觉得数据中心可以分为广义的数据中心和狭义的数据中心,狭义的只是说建筑、供电、制冷(等数据中心基础设施)。你也都比较熟,但我想大家更熟的还是广义的数据中心里上层IT的部分。刚才我也说了,关注新基建里面很多资本方面,因为数据中心建设意味着大量的投资,实际上如果我们真的比较实际的话,按钱来算的话,数据中心里放的IT设备更值钱,它比数据中心、基础设施本身可能投资又要高一个数量级,而且最关键的是上面的业务可能是无价的。

陈国峰:所有基本的基础设施也好,还是IT也好,其实都是服务于业务的,源头都是业务,这个毫无疑问。但从资产占比的角度来讲,包括IT的资产占比,肯定是最大的。

张广彬:当然,可能土建、基建就是“建建建、买买买”,就是投资,其实服务器这边也是“买买买”。大家都知道,上半年经过疫情,我就说说我的感受,也是挺有意思的,因为我去年、前年都组织“数字中国万里行”,给人一种整天都在外面跑(的感觉),其实有的时候数据中心你也不能拍,你拍什么照片呢?就是(只能放)在外面胡吃海喝的状态,把自己打造成过得很逍遥的人的状态。疫情期间哪也不能去,我在家里已经4个多月没有出过北京的六环了。尤其是疫情刚开始的那一两个月,基本上没下过楼,下楼就是到门口取快递。这点我必须说一句,现在是“618”期间,但是“520”那天我续了两年的京东Plus会员。

陈国峰:感谢支持。

张广彬:虽然从服务器和存储供应商的角度来说,你是他们的用户,但其实我又是京东的用户。在北京、上海这些大城市的人,京东确实体验比较好,因为直接给送到家门口,而且速度很快,但是疫情期间没办法,都不让进小区,我们其实都要到小区门口取,这多少都造成不便。

但幸亏有京东的物流,当然有时候也会买其他家的生鲜之类,其实还是保障了我们的正常生活。但我想可能有些方面就没有那么顺畅,比如从你来看数据中心行业,服务器的供应链、服务器的物流,包括整个数据中心,在疫情期间和之后它是什么样的状况,我想很多人还是很感兴趣。

陈国峰:我说说自己的看法吧,过去几个月的时间里,我们也一直花了很大精力在这一块。首先,因为受疫情的影响,整个市场在Q1的时候,在供应链上某种程度上造成一定的恐慌,因为大家都担心工厂会受这个影响,包括整个供应链的情况会变得非常差。在Q1的时候,大家的状态就是疯狂的在囤货,我能看到,很多有数据中心IT需求的公司,大家都在想尽办法做今年全年规划供应的囤货,造成Q1的时候,市面上的某些部件买不到,特别是像SSD,供应非常紧张。我们今年也是花了很大的力气,才保障了“618”资源的补给。在过去的两三个月里,我们一直在搞供应链。

另外,对于今年后面我个人的判断,今年上半年因为有了一定储备,有了这个储备之后可能对于下半年,因为大家把量都往前挪了,可能下半年的趋势就会好转。一方面,确实整个大的市场受经济的影响、受疫情的影响,它的需求量某种程度上是萎缩的,但是某些场景下它的需求量有爆发的,甚至说京东在线零售的业务,大家如果关注的话,可以看一下京东Q1的财报,对于京东的业务量来讲它还是有比较好的增长的。

但是对于其他的一些行业,受影响就会比较大。不管是从现金流的角度来讲,还是从资源的补给上来讲,今年肯定是整体上是收缩的。市场的需求在收缩,再加上Q1的时候大家都有一些存量,到下半年整个市场供应的情况会好转很多。

张广彬:因为前些天也跟一些供应商的朋友聊,跟你的观点差不多,全年可能并不会比去年有增长或者说明显的增长,确实疫情打乱了节奏,以往可能三四季度会是比较的高峰,但(今年)高峰提前到二季度,到三季度有可能还会有一个小的回落,差不多可以这么说。

陈国峰:对。

张广彬:另外一个,其实在疫情期间对大家的工作和生活产生了巨大影响,在线会议、直播,其实都是以前就存在的东西,但并没有变成一个刚需,现在感觉变成一个刚需了。还是以咱俩为例,其实咱们基本上每年都可以保证3月份在美国的开放计算峰会(OCP Summit)上碰到,京东是铂金会员,我们(E企研究院/E企学院)也是小小的Community的会员,不管是不是会员都可以在那儿聚,我记得前年还一起很愉快的看了几个数据中心。

但其实现在3月份的会就改成上个月刚刚开的线上峰会。Community会员和铂金会员差距有很多。铂金会员必须贡献一个演讲,其实我也在里面看到过你的名字,但是这也必须得是线上的,你人也去不了,关于你的演讲内容一会儿也会提到。

像今天咱们俩的交流,其实如果没有疫情的影响,也是可以做个60~100人的见面交流。总而言之就是说,很多事情被迫搬到了线上,我觉得这对京东也是有影响的。

京东上也有很多直播卖货,我觉得从我们职业病的角度来说,我们就会想这对基础设施造成的影响,因为原来看图文的数据量是多大,直播视频的数据量是指数级的增长,包括后面的存储,有些直播还是可以看回放的。所以无论是计算、存储、网络传输带宽,从我们的角度看来肯定是提出了更高的要求,不知道从你们真正的新基建的实践者的角度,是怎么看待这个问题的。

陈国峰:狒哥啊,咱们还年轻,所以得跟得上时代的脚步。

张广彬:对,所以我们也努力的做直播。

陈国峰:我现在就经常在京东的平台上看直播,然后下单,我觉得你也可以尝试一下。从IT基础设施上来讲,受疫情影响,很多东西都搬到线上了,教育包括工作的在线办公等等其实都搬到线上了。从IT这个层面,它对传统的IT会有一定的挑战,但挑战并不大。

原因有两个:第一,现在能提供的服务,其实原本就有相关的基础设施在,比如说CDN。在线服务不外乎就是视频类的服务,一个是流量,这个流量毫无疑问,相比传统做图片,视频的浏览的流量要大很多。第二,是对于存储、计算、视频处理的要求。我相信不管是视频公司还是互联网,存储的架构能提供这样的服务,但是对于性能上会有一定的挑战,比如对实时性的要求变高了,所以相应的高性能存储的比例就要加大,甚至中间Cache层的容量要加大。今年我们针对这一块的业务也做了相应的补齐,刚刚提到的上半年拉供应链,其实某些程度的补给就是用来做这一方面的。

张广彬:咱们说到OCP线上峰会(Virtual Summit),我相信除了你自己的内容,你也看了一些内容,比如Facebook介绍他视频编码的平台,当然不管是直播还是长视频、短视频,还得适配不同的终端设备,包括不同的高中低的码流,他也介绍他用了专用的加速硬件,其实也涉及到功耗的问题。回到购物的角度,这不一定都是直播导致的,比如刚才聊天也提到了,你买完一个东西推荐以后,我们叫AI也好,叫机器学习也好,其实用GPU,我不知道从你的角度来看,在计算的领域这种专用的加速设备,或者说像GPU这种应用现在是怎么样的趋势,带来怎么样的挑战呢?

FB转码.jpg
Facebook的视频转码架构

陈国峰:因为我们内部最近也在探讨计算这个领域的发展趋势的问题。我个人提了一个概念,叫做“多元计算”。之前传统的计算可能就是x86的通用计算。在很长的一段时间里,其实x86的通用计算基本上能满足计算的诉求。现在不管是AI领域也好,包括今年很火的视频相关的业务,随着这些业务起来之后,你又发现我们归类为场景化的计算会越来越多,某些固定的场景对计算能力的要求或者对计算特性的要求会有固定场景的要求。这类的场景因为是固化的,而且有足够的市场,再用通用计算来去满足它,效率上不一定是最佳的,这就会催生出很多AI计算相关的GPU或者ASIC,这可能是过去几年里面已经很火的东西了。

今年可能又会催生编解码、视频处理的新的计算单元或者处理器出来。我们认为在未来几年里面,场景化的计算会逐渐起来,随着应用的发展,包括应用的普及,场景化的东西会有更多的参与者去做相关的处理器,现在其实已经有很多在投入搞这些了,而且这个肯定会比通用的计算效率更高,所以这肯定也是未来技术发展的方向。

张广彬:与此同时,在专用或者场景化的应用,针对这些硬件蓬勃发展的同时,通用计算自己也碰到很多问题。我觉得还是挺意外的,像这回Facebook还是发了新的双路平台,但在过去,其实没有进入疫情之前,大家都在说Cooper Lake还是Ice Lake,是不是要跳过去,有的用户或者供应商选择跳过,有的还是按部就班,但是不管怎么说也是给行业带来了很多不确定性。不知道从你的角度来看,比如像英特尔这种产品的情况,从你了解到的情况它是怎么样的,对你们有多大的影响。

FB-Cooper Lake.jpg
Facebook的这张Slide有些误导性,从各方传出的消息来看,Cooper Lake应该是从四路起步

陈国峰:对于不同产品之间的切换,我们可以看到的是,很显然,不管是英特尔也好,还是其他的厂商,其实都受到了整个计算领域市场的判断的影响,为什么会有这样的影响呢?主要是在过去的几年里,AI技术的发展,包括不同的场景化的处理器出来以后,对这些公司都会提出新的挑战,未来的方向到底怎么定,甚至说他们的竞品有相应的技术出来之后。挑战有两个,一个是场景化的东西出来了要怎么应对,另外一个是传统的制程的发展已经不可能像以前那么快了。你也可以看到,过去几年,摩尔定律18个月晶体管的密度就要翻一番,这种事情不可能再发生了。所以制程工艺的制约,包括整个市场场景化东西的发展起来之后,对他们来讲,对于自己产品的定位和规划在这个时间点确实是比较困难的事情,所以我们会看到很多不确定性的东西会传播出来,甚至是schedule都会受到一定的影响。

张广彬:其实刚才也提到摩尔定律的放缓,大家就用摊大饼的方式,对于运算能力的要求,单核的性能上不去,就弄更多核。我也注意到,一方面就是AMD了,我觉得这里面可能分两个问题,第一个问题是AMD可以提供64核,比如128个线程,另外一个事情是咱们只有关注OCP的人才能注意到它选的时间点,因为原来英特尔DCG部门老大做ARM的公司叫Ampere(安培),安培在今年3月5日发布一款ARM的处理器,80个核。

为什么提3月5日呢?原来OCP线下的会议是3月5日,所以本来应该在那个时候发布的,是80个核,但没有提供超线程,不管怎么说听起来都是很多的样子了。包括核数越来越多以后,大家提供更多的内存通道,像AMD每个CPU有8通道内存,过去几年4、6、8一直在涨。包括英特尔,Cooper Lake或者Ice Lake也在内存通道数上追。简单地说,你怎么看待AMD和ARM,当然ARM可能我们有时候会提信创,但咱们还是从开放计算也就是互联网、云计算的市场角度,你怎么来看这些产品?

陈国峰:我觉得评判AMD很简单,咱们可以关注一下公司的股价,就可以对他近两年有一个初步的判断。这个不光是某个人,我相信通过那个股价可以反映出整个市场对他的判断。我没记错的话,过去五年还是四年里,它的股价翻了差不多20多倍,可以看出他近期这段时间里,不管是产品的战略还是定位,都找的挺准,这是对于他们的看法。

对于ARM来讲,因为从ARM进入到数据中心这个领域,我就开始在关注这个事情,而且也陆续在做一些相关技术的工作。

张广彬:从32位ARM的时候你就开始在做是吧。

陈国峰:对,可以说我是国内最早做基础设施(ARM)相关工作的人。从我个人的判断来看,现在ARM的契机比原来的生态确实要好很多,但真的要从这个大蛋糕里切一块蛋糕出来的路是要走一段的。生态会关联很多东西,一个是基础的软件的生态,另外是对用户端来讲,现在挑战最大的就是在某个时间点里,你要同时拥有两套东西,它的基础设施维护也好,还是上层应用的迭代也好,其实挑战都很大,目前来看这个问题仍然还存在。

张广彬:确实ARM的生态是一个很重要的问题,但就像刚才说的AMD,AMD其实在生态上,英特尔确实给他开了路,在生态上没有问题,就像你说的,大家也都比较看好它。它的优点是核很多。从你的角度来看,它核多的优点对你来说有多大的吸引力,你们是不是也对他们做了一些产品方面的评估工作?

陈国峰:从通用计算的架构上来看,大家能很清晰的观察到,目前的计算能力要叠加,就只能靠堆核了,制程在某种程度上是受限了,那就靠堆核。我觉得他们这个方向跟当前的技术发展趋势是完全吻合的。从性能上来看,站在用户角度来讲,我追求的就是单位处理能力的成本,核心在商业化的市场里的逻辑很简单,其实就是看这个,哪个更好我就倾向于用哪个,我也没有包袱,因为都是同样的架构,它不像ARM,你会有其他的包袱在。

张广彬:你刚才提到很重要的一点,堆核,工艺又没有上去,实际上不可避免带来的在供电方面的开销。比如AMD的64核可以到256MB的cache,不光是堆核,chche很大。导致在短短几年间,好像英特尔在至强E5的时代,其实非定制版顶级处理器也不到150W TDP每个,现在AMD有大量的SKU都超过200W TDP。

Intel-Cooper Lake.jpg
关于Cooper Lake的信息,当然是大英亲自下场介绍更为准确……这款270W TDP的SKU应该是高端产品了

虽然Cooper Lake和Ice Lake还没有明确的公开的规格,其实OCP英特尔还是公开了一些资料,它有一个PPT我不知道你注意到没有,它的下一代CPU已经超过250瓦,包括内存通道的增加,可以插更多内存了,这就意味着单台双路服务器的功耗有可能比以前成倍的增加,以前可能一台服务器300瓦就可以了,现在可能一个CPU就接近300瓦。

这样的话,它对散热的设计是非常大的挑战。你可能比我更熟悉,其实Facebook的Open Rack很喜欢搞处理器前后串列的两个配置,并排弄个2U3,结果这回改成1U,从串列变成并列了,我相信它跟功耗的提升有很大的关系。你做了那么多年的服务器相关设计,从你的角度来看,液冷会是下一个问题,单从风冷的角度来说,它对服务器设计带来的挑战究竟有多大。

陈国峰:我觉得可以这么讲,服务器的功耗或者CPU的功耗角度来看,我们大概做了一些研究和分析,假设我们做1U服务器的时候,能给CPU散热的极限就是这个CPU的功耗不能超过250瓦,一旦1U的空间里面处理器的功耗超过250瓦,我们用风冷就很难完成达到CPU散热需要的程度了,它的极限就是这样子。

如果你要在1U里面堆300瓦的CPU,基本上就很难通过风冷来实现了。很极限的情况下,其他什么东西都不要,能让风流很通畅,有可能能实现,但这不太现实,不可能一个板子就放两个CPU,其他的东西都没有。

从这个角度可以理解,随着CPU计算能力越来越强,能控制在250瓦功耗以内的CPU我们还有机会能够在1U里实现。刚才提到的shadow(串列)和non-shadow的问题。很显然,你如果还是做成shadow的方式,那后面的CPU就会很惨,你的功耗就会受到更大的制约,也许你只能满足到150瓦以内的CPU才能用,这个板子能承载的CPU就有非常大的局限性。从通用的角度来讲,现在更多的就会转到non-shadow上面。

Winterfell-x3_MB.jpg
Facebook双路服务器沿用数代的 Shadow + 2OU3 布局

张广彬:其实你刚才说的已经有一点非常接近下一个话题了,包括之前在1U里头non-shadow的设计,其实之前微软的OCS还是shadow的。我个人认为,微软的Project Olympus又改回来,改成non-shadow,但是放了remote heat-sink,就相当于增大散热面积,包括这次Facebook也是这样做的。不外乎是CPU用一个热管引出来,一定程度上来说可以把这个热管算作某种程度上的液冷,再往下一步,那就是冷板式的液冷。

我知道,去年本来在ODCC上你们也发了新一代的JDCloud Rack,里面已经考虑到了冷板式的液冷。这次你在OCP上的演讲,你本人也没有去到现场,就相当于是英特尔帮你们讲,代你们讲了,如果是你讲的话我估计也听不懂,必须得用英文讲。可不可以借这个机会,正好可以用中文,先简单的说一下从液冷的角度介绍一下你在OCP线上峰会演讲的内容,正好可以让我们对你们在液冷上做的工作有更多的了解。

陈国峰:原本是在OCP上这次有一个液冷白皮书的发布,受疫情的影响,我个人也没有去讲那个东西,委托其他人代讲。

张广彬:但是PPT里提到了。

陈国峰:我们讲的内容就是液冷的方式,因为在过去一年里,我们在整个液冷基础上做了很多研究。目前的状况来看,我们认为Cold plate(冷板)方式是最经济的方式,现在的液冷方式很多,你也是行业内的人士,也算是一个大牛了,你对液冷行业里存在的方案可能也很了解。

就我们自己当前的应用场景来看,我们认为Cold plate方式是最经济的、最实用的,而且如果是满足当前我们需要的功耗范围之内的,300瓦以内CPU的应用,也足够用了。另外,我们在设计上,像刚刚提到的京东的JDCloud Rack是我们今年会发布的一个新的,去年提出的是一个概念,但今年我们的设计已经做完了,预计今年Q4或者Q3末会把这个产品发布出来。

在这个设计上,不光是对于液冷的方案,包括对里面器件的选型和设计我们都做了详细的研究,大家如果有兴趣的话,可以看看我们在OCP上的whitepaper,核心的内容就是Cold plate液冷的解决方案,它跟其他的像浸没式不太一样,方案还不是直接让CPU去接触这些液体,还是通过heat sink的方式来做传导。

张广彬:因为我们之前也私下探讨过,因为浸没式液冷要改变的生态东西太多,一定程度上就类似于AMD或者ARM的区别。当然了,类比不能无限的延伸,回到你的演讲PPT来说,因为大家经常会想评估,冷板也好,浸没也好,大家总想列出一个成本对比表,有的时候大家比较在乎看数据,而不仅仅是讲一些理论。

JD-Cold Plate.jpg
OCP线上峰会京东PPT之一页

你的PPT里面对我来说,可能比对英文来说更挑战的是你提出的S指数的概念,它是一个公式,100除以多少,你根据这个做评估。从这方面来看,我能感觉到确实你们在这方面做了很多研究和工作,如果你方便的话,能不能简单的把S 指数介绍一下,我姑且称之为S的评价指标是怎么考虑的,能不能做一个简单的介绍?

陈国峰:当初我们做这个研究的时候,就像你刚刚提到的,对于不同的技术我们还是希望把它能够量化,通过某种程度量化,不管是TCO的角度,还是从性能设计,能够把综合的内容都考虑到。这也不是我们自己单方面做的,拉了很多合作伙伴,包括生态圈里很多大牛的专家一起来探讨,形成了一套算法。通过这个算法,我们可以把这些变量的参数放进去,作为一个参考标准的输入。目的就是通过某个衡量标准能够把不同的解决方案做横向的比较。

张广彬:另外,我确实没什么耐心把英文完全听一遍,能找到(你这个)正主,就在正主这儿问一问。因为你们演讲里也评估不同的散热片,包括像内存的散热。如果从传统的角度来评估的话,一个通用的服务器,CPU加内存的功耗可能就占70%以上了,其实大家就是混合式的液冷了。如果用冷板,CPU肯定是先上,接下来就是内存了,尤其随着内存通道的增多。另外,如果用加速器,你还要给他去做。不同形状的冷板的评估工作,你们其实也做了很多,大家有时候也会觉得(浸没式)液冷的优点是我转成液冷生态有点难,但是我如果泡进去以后,反倒不会面对那么多的form factor,所以从这一点来说,我想听听你是怎么看待这个工作的。

陈国峰:从散热的角度来讲,我们讲的内容里面有很多不同的分析,为什么会有这个东西,可能做散热的人都清楚,我也不是专业做散热出身的,PPT很多内容是我们散热工程师做的。但基本理念我还是有的,传统以前有风扇,我们会有一个PQ曲线的概念,找到风扇的转速,或者风量跟能耗的最佳点。

这也是一样,不同的CPU,不同的散热密度,采用的方式,功耗、能耗的效率是不一样的。从这个角度来讲,我个人觉得不管是浸没式还是Cold plate,因为浸没式还会有其他的问题,一会儿我会简单分享一下。

Cold plate的方式就会面临着不同的能耗密度,选择不同的heat sink, 散热效率会不一样,至少目前来看这个变量会一直存在。浸没式液冷同样存在这样的问题,浸没式会有几个状况,变量在哪呢?第一个是它的液体,你用什么样的液体。因为液体不像风,风你很好控制,液体很难控制流向和流量,你也可以做的很精致,做个管道,让所有发热的元件有都一定的流量,但这个代价更好了。对于这个设计来讲都是变量,怎么控制流量,怎么选择液体,这些都是变量,这些变量最终会影响什么呢?就包括在Cold plate, heat sink的差异,最终的影响成本,最终衡量这个东西最直接的办法就是看TCO。我们的逻辑还是这样,最终的目的,大家做这个东西为的是解决问题,用最经济的问题解决问题。

张广彬:我觉得你刚才提到一点,我有一个感触,不管是气体还是液体,都是流体,像流体力学,是一个很复杂的学问,包括前一阵子爱看乱七八糟的军事方面的东西,讲的以色列,因为以色列的高科技领域非常牛,他讲以色列设计战斗机,以色列有很好的设计人员,但他们找不到风洞,以色列国内没有很好的风洞,要检验这个模型,还是要去国外实验。现在可以用计算机来模拟,但三十年前是很难的。

液体也属于流体力学,就像你说的,它可能会(比气体)更复杂一些。我觉得不管怎么说,如果单纯能从这一点来说还是物理学的范畴,我以前也还经常开玩笑说风冷的时候主要还是研究物理,但是液冷、浸没式液冷的时候还要研究材料,就相当于从物理学进入到化学领域,变成了一门材料科学,但其实物理学也没有少。这是从我的角度对你刚才讲的做的一个补充。

陈国峰:我觉得未来技术的跨界会越来越普遍,不管是现在的材料学也好,甚至未来的量子计算,纯粹变成物理的东西了。

张广彬:我觉得跨界是关键,像你刚才说的,你不是散热方面的专家,但说杂家也不太合适,但每个领域都要有一定的了解。我经常说,其实像京东,包括BAT这些大的互联网、云计算,短短的这些年对数据中心行业造成这么大的影响,就是大家什么都了解一些,不像传统行业分工过于明确了。就像我上个月在数据中心领域讲新基建,就讲基础设施,讲风火水电的部分。

新基建引发了一些非数据中心行业的资本,因为是热钱,就进来了,当时主持人说让我提一个什么样的建议,我说虽然数据中心是一个地产,但也叫数字地产,不能光了解地产行业,大家还是要从人才上找有很好IT背景的人,不然弄出来的基建还是传统的基建,并不是新基建。

至少我认为,新基建里很重要的一点就是数字化、信息化、智能化。

其实刚才也说到了收敛这个问题,从生态、从供应链的角度,不希望太多的分支,我现在就要班门弄斧一下了。因为在整机柜方面,你应该算是国内第一批参与整个实践过程的人,放在开放计算的领域,也不比他们晚。

但是从我的角度来看,其实早期不同的整机柜,大家都太定制化了,各个标准之间的交集有点小,导致分裂成不同的生态。其实差不多从去年开始,国外有Open Rack V3,国内有天蝎3.0,包括JDCloud Rack我能够看到一些共同趋势,大家机柜的兼容性或者说开放,它的适配性可能更好了。就拿JDCloud Rack为例,主要是19寸,但其实有的是21和19,因为本来就21寸的路线,21寸和19寸都要支持,能够兼容液冷、风冷,集中用电,还是PDU,这些方式都可以。

JDCloud-Rack.jpg
京东云下一代服务器架构

至少在我看来,我认为这是一个正确的方向,但可能从你们的角度来说还不只是一个方向正确的问题,可能后面包含更多的考虑。我记得去年讲的时候是今年第二季度能够产品化出来,但我相信疫情对工作也造成了一定影响,会有延后。你把根据技术的部分说完,我也希望能够展望展望后面的东西。

陈国峰:我个人觉得,如果把范围缩小一点,不谈服务器,只谈整机柜服务器的话,不管是国内的天蝎,国外的OCP,过去大家耳熟能详的不同形态的设计。整个过程大概经历了几个阶段,第一个阶段是概念阶段,可能是在十年前,大家都在炒这个设计概念,当时五花八门的整机柜都在做尝试。

第二个阶段是标准阶段,至少是某种程度、某种范围之内大家开始收敛,最后收敛的结果就是中国国内收敛到了统一的天蝎的设计上,国外毫无疑问就是OCP了。设计标准上两边还是有一些差异,但如果细看,其实它的概念完全是一样的。21英寸,希望会有更多的空间提供给IT设备,1U的空间内能放更多的IT设备。这基本上双方方向是一致的,整个机柜的形态是一致的,更多的是内部的细节设计上考虑会不太一样。如果站在更高的角度,或者站在局外人的角度,其实两个是同样概念的东西,只是细微设计上的不一样。

今天大家考虑更多的,整机柜技术发展到今天,可能大家考虑更多的是生态和经济效益的问题。为什么这么说?相应的技术都成熟了,大家关注OCP也好,关注天蝎也好,可以看得到这几年技术迭代,不管是内容上还是功能上、设计上,迭代的内容都相对来说比较少,不像以前迭代的那么多。现在大家更多的是把精力放在生态上,只有把生态做好经济效益才会好,本身目的是追求经济效益。经济效益另外一个角度,现在为什么大家更多的会关注经济效益?因为云的业务起来了,云的本质我个人觉得是强依赖基础设施的,基础设施好,你的成本足够低,云的业务才会发展,竞争力才会好。

张广彬:就像租车公司,车能便宜三分之一,那很有杀伤力。

陈国峰:是的,就能补贴更多的钱。从这个角度来讲,大家开始追求经济效益,为什么我们JD Cloud Rack会做这样的设计呢?就是标准的19英寸,我在任何产品下都能用,最大限度满足云的和toB业务客户的要求。在云的场景下客户的场景是非常多的,而且不确定性很大,不像传统的私有云,我应用的场景是非常固定的,我要的东西就是可以做成固定的。

为什么说现在场景化的计算会起来,场景化的东西会变多,场景的复杂度会变高,怎么应对呢?怎么能最大程度满足客户的需求呢?就是要有灵活性了。你可以看到,我们的设计是最大程度上满足不同场景的需求,19英寸,标准的机柜就能放,21英寸的就更能放了,19英寸的我能放的下。既可以是整机柜,也可以是单台服务器,既可以享受集中供电带来的能效的红利,也能用单机来做PSU的供电,能够办法灵活性的诉求。更多的其实还是为了应对当前现在可以看到的复杂的应用场景做的一些改变。

张广彬:国峰,你刚才说到很重要一点,包括19、21寸,原来从19寸到21寸可以认为是一种变革,给人的感觉,至少在相当大的领域(如大型互联网和云计算公司)21寸是要取代19寸的。

至少可以从两个角度来解读,一个是对19寸的习惯还是太强大了,先不说天蝎,至少OCP一直还是想把企业市场通吃的,所以它一开始对19英寸多少提供了一些兼容,这是一方面,这是一种解释。另一方面,也回到刚才说的摩尔定律失效的解释,如果从一个比较技术的思路来看,比如像Open Rack当初弄21寸,19寸放不下3个6.5英寸宽的板子,但如果我做成21寸以后,我可以放3个前后有shadow的设计。

但你发没发现,因为CPU功耗太高了,我们没有办法达到这个密度。也就是说,大家以前用21英寸一定程度上是为了提高密度。打个不恰当比喻,把家里的承重墙砸了就是为了多放点东西,后来发现没有这个必要了,你现在放一起解决不好供电,尤其是散热问题,反倒19英寸就够了。从这一点来说大家又变了,以前Open Rack给人的感觉是21寸为主,19英寸兼顾着你,现在会不会变成19英寸为主,现在再支持21英寸是为了兼容以前的遗产了,你觉得有没有这种可能?

陈国峰:我完全同意你的看法。原先21英寸,大家是希望在1U的空间里面能承载更多的IT设备,这个前提是在那个时间点单机功耗还不高的情况下,包括在同一时间市面上有2U4类似的产品,在那个时间点其实都挺普遍的。

今天再回过头来看,这个产品的局限性就变得越来越大了。同样现在也可以把一些设备做成是1U的,但如果是CPU到了200瓦以上,散热的能耗,或者说散热效率就会变得极低,这样子从整个TCO的角度来说极不合适。

JDCloud Rack主流的应用都会回到2U,我用高端的CPU,2U的空间内我的计算能力远大于原来的2台1U的机器,本质的目的是要保证计算资源。如果单个系统里CPU的计算能力上去了,一台机器可以相比原来两台机器的计算能力,就不应该再纠结我的形态了。

几方面,第一方面,单个机柜的功率密度不可能无限大,在一定程度上单个机柜规定的情况下,我是通过多塞机器还是通过提高单机的性能来实现,我觉得就是看经济效益,通过多塞机器的方式,很明显目前的散热效能是极低的,直接就把整个TCO就拉上去了。通过能保证更好散热效能的2U方式,反而整体的TCO会回去。

张广彬:有的时候厂商,如果是单一的供应商,太注重提高一个设备自身的密度,没有想到放在数据中心是怎么样的,一味提高局部的密度,就算能解决散热问题,就像你说的,一个机柜在中国八千瓦算很高的了,可能只有四五千瓦,你(每个机柜)就放一个(设备)在那儿又有什么意义呢?

相当于一个东西就把40U的机柜只用了四分之一,但是你为了达到这个密度,你在里面折腾了半天,因为TCO不光是OPEX,为了CAPEX往这里面塞那么多东西,用朋友一句话来说就是浪费表情。就像我看的天蝎整机柜,原来可能八个千瓦能放30台,一台就是200多瓦,还不到250瓦。就像咱刚才说的,马上一个CPU的功耗就200多瓦,供电能力不是你想提升就提升的,这个机柜空一半,其实没有什么意义。

陈国峰:是的。

张广彬:我也觉得时间过的很快,我们谈到散热,其实我们自己也被夏天的热和设备所折磨着,我觉得今天可能也就谈到这里了。因为很快就要进入第三季度了,随着疫情的逐步解除,希望能够早点看到JDCloud Rack正式的发布。

发布的前后,如果能带着JDCloud Rack的实物做客我们直播间,或者我们到你们JDCloud Rack旁边去,你给我们实地讲解一下,我非常盼望着那一天早一点到来。

陈国峰:好啊,不出意外的话应该是Q4初或者Q3末就会有这个产品的发布,到时候我们也一定会邀请狒哥来亲临我们公司,或者在某个展会,来看看我们的东西。

张广彬:好的,谢谢。我们今天“开放新基建”系列访谈的开篇就到这里,再次感谢国峰的配合,希望早一点能够再和大家相见。

9 阅读 331
推荐阅读
0 条评论
关注数
1581
内容数
33
云计算、基础设施、大数据领域的技术话题
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
Arm中国学堂公众号
关注Arm中国学堂
实时获取免费 Arm 教学资源信息
Arm中国招聘公众号
关注Arm中国招聘
实时获取 Arm 中国职位信息