狒话 · 2021年01月29日

云在起时:宿迁观京东云数据中心随想

作者注:本文最初发表于2016年6月15日。

一个月前,我和家人去长隆野生动物园游玩,突然接到一个显示来自宿迁的电话。

就像一位朋友说的,这年头,座机拨来的十有八九是骚扰电话。略有犹豫,我还是接了。

对方自报家门,说是京东的客服。这下我突然意识到,东哥就是宿迁人啊!把客服安排在非一线城市,是很合乎情理的。来电是告知我昨天在京东退掉一个智能电源插座的快递费回款事宜,态度也很好,各方面证据都显示这不是一个诈骗电话。

JDCloud-s.jpg

现在我担心的不是这个,而是在选择退掉之后,马上又买了一个,因为这个也和介绍内容不符,对非官方苹果充电线的兼容性不好。我打算再度退货,又寻思会不会因此上黑名单。

我自信不会啦,每回为了凑单,都买了不少生活必需品,只是退掉两个不合用的插座而已。在这个言必称大数据的时代,不用太复杂的分析,结合我多年来的购买记录,不难知道绝非一个恶意用户。

然而,有老司机告诉我,上了京东的黑名单,不代表就不能再买东西,但会有限制领券及抢购(如秒杀)等惩罚措施。我这人不好凑热闹,从不参与秒杀,能继续领券就行了。

JDCDC-overview.jpg

结果,我不仅没上黑名单,还来到了京东在宿迁的数据中心——618将至,无论分析还是秒杀,都需要强有力的数据中心支撑。

说来有趣,我知道刘强东是宿迁人,就是因为听说京东要在宿迁建一个数据中心。这和我知道李彦宏是阳泉人,竟是同样的套路……

JD-suqianxy.jpg
来到宿迁才知道,原来这里是项羽的故乡(项王故里)

现在京东的数据中心基本布局是北上广,在华北、华东、华南三个地区各有一些主力机房。位于宿迁的这个数据中心,就是京东华东区的主力机房,也是京东第一个自建的数据中心。第一次自建的用时总会比较长,腾讯和百度皆如此,而京东云华东数据中心设计于2013~14年间,2016年3月1日开始部分投入运营,可以算不慢了。

至于……为什么是宿迁?见不到东哥本尊,总不能去问西楚霸王有没有钦定的感觉哈?不如静下心来,看看数据中心建在宿迁有哪些“地利”。

由于我国人口分布明显不均衡,大型互联网公司(如BAT)已经投入使用的数据中心,几乎都位于“胡焕庸线”(黑河腾冲线)的右侧,即人口密集的东部及南部区域。要说离用户最近,莫过于北上广深等地,然而这些大城市早已不堪重负,在电力和土地供应诸方面受到的限制也是最多的,后来者再想建设大型数据中心,可谓难上加难。

huhuanyong-suqian.jpg
左侧为胡焕庸线示意图,右为宿迁在江苏的位置(苏北的“苏”字下面,图片来自网络)

巧合的是,从经济发展的角度来看,江苏省存在着类似的不均衡现象:位于东部的苏中和紧邻上海的苏南地区经济发达,而位于西北部的苏北地区则相对欠发达。放大到全国,宿迁的地理位置类似于内蒙古呼和浩特(三大运营商都有大型云计算数据中心)和宁夏中卫(AWS建有大型数据中心),距上海与呼和浩特到北京大致相当,距天津与中卫到西安大致相当,有点闹中取静的意思——毕竟只是在苏北而不是西北嘛。

绕了这么大的圈子,究竟有哪些好处?不妨一项项来看——

地大

京东云华东数据中心位于江苏省宿迁市湖滨新区,园区总占地面积达13万平方米(200亩),整体由4个规模相当的云数据中心模块和1栋综合大楼组成,每个模块建筑面积12332平方米,总建筑面积55328平方米。

4个模块均为单层建筑,即使层高较高(7.5米,内部工作区空间净高约4米)而可以计为两层,容积率也小于1,这在一二线城市是很难争取到的,体现了宿迁作为“四线城市”的优势。

JDCDC-door.jpg
服务器等设备可沿斜坡经此门推入机房模块

单层建筑大大简化了数据中心建设和部署的要求:

  • 服务器和机柜等设备不受电梯限制,可直接推入机房,安装部署效率高;
  • 建筑物结构强度不用太高。宿迁机房采用地板下送风设计,承重仍可达到每平方米1吨。即使未来要扩大承重能力,也不像多层建筑那样需要考虑楼板和支撑的加固。

JDCDC-steel.jpg
某正在用钢筋加固的多层(准)机房

架多

顺应模块化的潮流,4栋机房模块独立实施,互不影响,可实现分期建设,第1栋机房模块及综合大楼已投产运行,其余模块将于2017年陆续投产。

JDCDC-DC.jpg
右侧为一栋机房模块

模块内部的数据机房和配电室也由相同的小模块组合而成,可根据使用需求灵活布置、调整模块内容。每个模块包括10个机房,分为4个低密、3个高密、1个微模块和2个网络。

  • 高密机柜主要面向互联网应用(如京东云),供电可达12KW(千瓦);
  • 低密机柜主要面向政府、托管等应用,典型如4KW;
  • 我看到的微模块一面有16个机柜,据称每机柜供电8KW;
  • 网络方面,电信和联通已入驻,未来以联通为主。

4栋机房楼(数据中心模块)容纳机柜总数量超过5000架,“可承载20万台服务器”——引号是我加的,因为这显然是按照每机柜40台服务器算出来的理论值。

JDCDC-racks.jpg
微模块内景,可以看到华为和戴尔的服务器

5000个机柜,如果全部使用2U机架式服务器,能达到10万台就不错了;全部使用1U服务器,可以超过15万台;20万台就要考虑2U4、1U2、刀片式服务器等机型了,还得考虑分配到机柜的供电能力。

电足

京东提供的资料显示:宿迁处于“西电(气)东输和年发电量140亿度的田湾核电站的高压走廊,能源及电力供应充足,具有高质量的输电网络和充裕的供电能力。”

JDCDC-PowerDistribution.jpg

具体到宿迁数据中心,自建了纯双路110KV专用变电站。一般来说,110KV变电站的供电容量可达60MVA,理论上存在5000个机柜都达到12KW的潜力。

JDCDC-CAT.jpg

每栋机房楼配置2200KW紧凑型柴油发电机组作为后备电源,具备连续满载12小时的运行能力。具体说来,共8台柴油发电机(柴发),分布于两个房间,N+1配置,45秒启动,90秒到末端负载。加上高频UPS(2N、N+1配置)提供15分钟延时,构成三重供电保障。

JDCDC-design.jpg
之前流出的宿迁数据中心效果图。京东有考虑过机房模块顶部安装光伏发电装置,但是发电量太少,所以没有实施。中间的综合大楼顶部设有太阳能热水器

水丰

“宿迁属暖温带季风性气候,气候温和宜人,雨量适中,四季分明。一年最高气温35.5℃,最低气温-12.1℃,平均气温14℃。区内地表水系十分发达,河渠纵横,以京杭大运河为主要水运通道,水位一般在9~9.5米。宿迁地处淮河和沂沭泗两大水系下游,境内河湖交错,拥有10条流域性河道、39座小水库,水域面积达350万亩。”

宿迁数据中心采用市政双路供水,几公里之外就是骆马湖。700冷吨离心冷水机组为N+1配置,蓄冷罐蓄冷时间15分钟。在外部条件适宜的时候,通过设置在机房楼顶部的冷却塔实现水侧自然冷却,达到节能降耗的目标。

JDCDC-Cubes.jpg
不同颜色标识的水管和远端的板式换热器

京东云华东数据中心的能耗目标是PUE<1.4,由于3月1日才投入运营,京东云4月开始对外提供服务,暂时只有几百台客户的服务器在运行,少量负载情况下的PUE不具参考意义,也没有足够时间衡量水侧自然冷却的具体贡献。

插入扯淡时段

甲:反正带宽也是从运营商来的,客户为什么不直接用运营商的数据中心呢?

乙:不够fashion。

丙:怎讲?

乙:在年轻人中,王思聪和王健林,谁更受欢迎?

扯淡时段结束

JDCDC-IG541.jpg
消防采用IG541气体灭火系统,IG541灭火剂由52%氮、40%氩、8%二氧化碳三种气体组成,无色、无味、无毒、不导电,在大气中存留的时间很短,是一种绿色环保型灭火剂

云起

如京东云首席架构师杨海明所说,整个苏北需要发展经济,在这个地方没有高品质的机房。这可以部分解答扯淡时段提出的问题,但京东显然不是IDC服务商,“京东云华东数据中心 ”名明白白,还是应该主要满足京东云的需求。

杨海明表示,京东云现在服务的客户主要是三大类:

  1. 标准的互联网客户,如创业型公司直接租用云主机;
  2. 交易型客户,有电商特性;
  3. 国企、央企或传统企业转型,特别是线下转线上。

后两类京东都有切身的经验,并列举了一家国有企业客户、民营企业郑州河南皮鞋批发市场、京东与北京亦庄锋创科技园合作的案例,说明京东云在帮助企业升级转型中起到的作用。

按照京东的说法,京东云的历史不算短,在2016年3月份之前主要服务内部的京东商城的业务,正式对外提供服务是2016年4月的事,恰逢3月第一个自建数据中心投入运营。可以说是个巧合,但公有云服务与数据中心建设之间,也确实有比较紧密的关联,以下三个问题或许能带给大家一些启发。

一、京东现在大约有多少台服务器?

应该还没到10万台——这不是官方答案,也不能说我的推测有多么切实的依据。听起来似乎与京东目前的规模不符,毕竟一家国内领先的视频网站也能有这个级别的服务器保有量。不过,电商类网站满足自身日常的交易和分析需求,确实不很消耗服务器数量。不妨看看另外两家电商巨头:阿里巴巴在2011年时,服务器总量很可能连5万台都没有(不要太计较几年来交易量的增长,那时的服务器性能也比现在差很多);亚马逊则在2014年宣称,AWS(Amazon Web Services,亚马逊网络服务)每天新增的服务器容量可以支持Amazon.com作为一个年收入70亿美元企业时的全球基础设施。

观察一:从亚马逊到阿里巴巴和京东,都是“电商优则公有云”的路子——电商业务发展到了一定规模,开始进入以IaaS(Infrastructure as a Service,基础设施即服务)为代表的公有云服务市场;

观察二:亚马逊和阿里巴巴,都是在公有云业务发展起来之后,服务器数量开始井喷式增长。

所以……

二、京东云来晚没?

仍以IaaS来说,在发展更早、竞争也更为充分的美国市场,已基本形成巨头垄断的格局,后发者即使实力雄厚如Google、Oracle,都很难打开局面,现在入局显然是太晚了。

IaaS-market-share.png
Wikibon统计的2015年上半年IaaS市场份额

由于政策、地域、行业等种种限制因素的存在,中国市场仍处于混战之中:

  • IDC的数据显示,阿里云的市场份额堪比AWS在美国,不过产品等方面的统治力尚没有那么足;
  • 外来户AWS和微软放不开手脚;
  • 百度对公有云的热情还不如Google;
  • 腾讯云正在追赶……

有资源有技术的巨头们没有体现出充分的先发优势,市场的上升通道继续对后来者敞开。初创企业如青云QingCloud、UCloud有机会,“富二代”如金山云有机会,京东云当然也有机会。

三、京东怎么看待定制服务器?

观察三:互联网巨头们在自建数据中心前后,都伴随着定制服务器,尚无例外。

自建大型数据中心,意味着足够的服务器采购量,这是定制的必要条件。

当然,不一定充分。

杨海明表示,京东考虑过定制服务器,包括天蝎整机柜,但也只是考虑而已。如前面的介绍,从设计上来看,京东云华东数据中心有足够的能力支持天蝎整机柜,将来想上的话,技术层面应该不是问题。

说句题外话:京东的股东腾讯,定制服务器有近十年的历史,与百度、阿里、英特尔共同发起天蝎整机柜项目(本周微软发布了同名的VR主机项目,可以去Bing上搜索Project Scorpio试试看),数据中心建设的规模和规格在国内都属前列,整机柜服务器的采购量却很少。其中的原因相对复杂,这里就不展开讨论了。

关键在于,现在京东的业务属于扩张期,更多的是关注新业务,IT层面的定位还不太关注成本和优化。

怎么理解这句话呢?参观完数据中心之后,第二天京东在宿迁正式开展无人机试运营,以期在全国村镇间建立无人机物流配送网络,由无人机来完成乡镇配送站到乡村推广员的“最后一公里”(目前是10~15公里往返,未来目标是45公里往返)配送过程。据称无人机是京东自行研发的,按照我肤浅的理解,最不济也应该是深度定制。从京东无人机的指标来看,单架的成本应该与服务器差不太多。

JD-UAV.jpg
京东的无人机队

据京东集团副总裁兼X事业部总裁肖军介绍,中国的行政村大概有60万个,排除一些信号和网络不好等原因的偏远山村,(乡村推广员)今年应该能覆盖到40万个。如果无人机配送进入实用阶段,上百万架的潜在采购需求,自行研发或定制意味着巨大的成本节约。而仅以电商业务的角度来看,服务器的需求量不够大,又处于业务链的后端,定制似乎不是很必要。

不过,如果京东(公有)云能发展起来,情况就不一样了。一方面,对服务器的需求会迅速增长;另一方面,服务器的购买和运维成本,会直接影响京东云的盈利能力。届时,服务器定制应该是必须面对的问题。

自建数据中心为京东云打开了通向广阔天空的窗,后者能达到的高度,将在很大程度上决定京东未来的服务器发展路线。

推荐阅读
关注数
2831
内容数
57
云计算、基础设施、大数据领域的技术话题
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息