作者注：本文首发于2016年11月10日
911，双11
午前，我独自驱车从北京前往张北。
正逢911事件15周年，路上，我想。“911”当天我正在《计算机世界》的评测室加班，不通外网，那时也还没有WiFi，是前上司打来电话，兴奋地告诉我，“飞机撞大楼”啦……10天后，我拿到了人生中的第一个美签。
911遗址“反思池”之一，2015年6月17日傍晚
911事件写进我记忆深处的另一点是，数据存储行业获得了进一步发展的契机。世贸中心南楼和北楼的相继倒塌，用血淋林的事实让IT从业者们意识到了远程备份、异地容灾的必要性。十五年后，存储行业正陷入新的轮回，而“两地三中心”的概念早已扩散到数据中心行业，成为云计算的有力支撑。
交易型系统首当其冲，云计算时代有电商为对应——任你两地距多远，光缆一断全白搭。看起来再高大上的概念，最终还是要落到地理位置和通信线路等具体因素上。
是哦，离每年一度的双11也只有两个月了。
张北，G20
200多公里的路程要翻山越岭，好在并不难走。不知不觉中海拔已升至一千米之上，略有一丝寒意。
既不是体验张北草原音乐节，也不是游览草原天路，人生中第一次去张北，竟然是参（与围）观阿里巴巴刚投入使用的数据中心？想到这里，只能对自己的无趣表示无语……
草原天路，阴云密布
当然，毕竟放弃午饭节省了一些时间，而路线又离草原天路的入口不远，我还是转道进去看了看。不巧的是，当天下午草原天路一带风雨交加，车外温度下降到十二三度，与北京出发时一比，下车逛逛还是很需要些勇气的，于是打消了继续“到此一游”的念头。
通向小二台镇的路还算好走，但就在导航显示距目的地还有几百米的时候，不意被“前方施工请绕行”的牌子和路障挡住了去路……当晚闲聊起来，听说为了准备此次阿里巴巴张北数据中心启动仪式，酒店和2号园区附近的街道及路边建筑都被整修了一番。有人戏称这是张北县的“G20”，当地政府的重视程度却也可见一斑。
压线，硬球
第二天早上5点多，我挣扎着爬起来，看美网男单决赛直播：一号种子德约科维奇对三号种子瓦林卡。
如果德约的对手是二号种子穆雷，我是断然不会早起看的。网球选手的排名不比演义中的武将，排名靠前跟第一名打起来胜算就会大一些——特别是这位穆雷，主要打战术球，偏于防守，球的落点并不刁钻，攻击性不强，而且心理素质不佳，大满贯决赛这样的大场面经常被德约打崩。有失水准，没啥意思。
被中国球迷赐予“四蛋”爱称的瓦林卡恰恰相反，观赏性十足，世界顶级水平的单反，攻击力比巅峰期的费天王还强。越到大场面越激情四射，虽然此前只进过两次大满贯决赛，胜率却是百分百。特别是2015年法网决赛，简直把风头正劲的德约按住狂抽，除了正手的穿透力，还一再以漂亮的反手球突破德约的防守。火力之凶猛，让人不禁赞叹：红土场上也能这么打？！
比赛不到5点开始，电视打开时德约已经先胜一盘。对此我并不担心，去年法网四蛋便是连下三盘逆转胜。换成穆雷呢？2016年法网决赛，先下一盘，然后被德约三盘逆转胜！
美网决赛第三盘，瓦林卡单反迎击德约的发球，注意场地右侧纪念911的数字
发球是男子网球比赛的生命线，发出压线球有更大的几率达成Ace，失误了还有二发机会，所以大家普遍敢于冒险。而在形成回合之后，对方需要防守的面积大了很多，也就不必每个球都打向边边角角，以免无谓的失误。可是，一旦进入四平八稳的局面，谁能比德约更精于此道？四蛋这样大心脏的搏杀型选手反而更有机会，不禁让我想起棒球领域的名词“硬球”……
数坝，地段
不出意外，瓦林卡很快扳回一盘。第三盘打得很胶着，我只好赶往会场。
启动仪式在2号园区的2号建筑的一层举行，之后的环节属于京张“中国数坝”峰会，“数聚张北，云集坝上”的口号似乎体现了“数坝”的由来。“中国数坝”的英文是China Digital Highland，我立即想到了“CDH”的简写，听起来倒挺像搞大数据的——Hadoop从业人士应该秒懂。
会场外我还见到了阿里云事业群“代表团”成员之一，笑称自己是来“打酱油”的余锋——阿里云研究员、数据库及存储相关领域专家，江湖人称“霸爷”（花名“褚霸”）。以上，大概是我能回想起来的仅有的两个与“(大)数(据)”有关的片段，毕竟这是个以云及其数据中心为主体的活动。
阿里巴巴数据中心团队在会场外合影，可见背景板后阳光之强烈
公有云，特别是在IaaS（Infrastructure as a Service，基础架构即服务）层面，是个重资产的行业，“重”就重在数据中心。在数据中心基础设施布局上占据优势，可以把云计算的价格战拉到新低。
阿里巴巴基础架构事业群研究员、张北云计算项目总负责人曲海峰说过：“数据中心除了摩尔定律，还要受机房和网络的限制。”摩尔定律主要影响以服务器为首的IT设备，而机房和网络为前者提供支撑。或许我们可以再加上一点：电力。
机房、网络和电力供应，都与地理位置密切相关。让人想起李嘉诚那句名言：“地段，地段，还是地段！”数据中心在云计算行业中就扮演着地产和物业的角色，因此房地产行业的一些规律是有借鉴意义的。
实际上，房地产公司在数据中心行业不乏成功的先例。中国电子工程设计院副总工程师、国标《电子信息系统机房设计规范》主编钟景华在峰会上分享了8月下旬，中国数据中心工作组专家组一行考察美国10个大型数据中心的感受——除了我去过的拉斯维加斯SuperNAP数据中心，还包括美国排名前三位的数据中心运营商Equinix、DRT、CyrusOne的数据中心。其中，DRT的全称为Digital Realty（数字地产？貌似还没有官方的中文名称），不仅名字很直白，在房地产投资信托基金（Real Estate Investment Trust，REIT）中的排名也很靠前。
手机上弹出消息：又是3比1，瓦林卡拿下职业生涯第三个大满贯单打冠军。
环境，距离
那么，评价地段的标准是什么？
显然，给机器用的房产（机房）和给人用的房产，对地段的要求有很大不同。人口稠密的地方，地价、空气和水电资源都不太适合建设数据中心；但也不意味着，地广人稀之地，综合条件就会更好。
我们知道，中国的地理环境和历史沿革，造就了著名的“胡焕庸线”：从黑龙江省的黑河（瑷珲）到云南省的腾冲划一条直线，将中国地图一分为二，右侧（东南方向）人口密度高，左侧（西北方向）人口密度低。
仅从自然条件来看，线的左侧有很多适合建设数据中心的地点。但别忘了，（互联网巨头们的）数据中心最终还是为人服务的，不能离人口密集的发达地区太远，否则网络延迟是个大问题。所以，离北京400公里左右的呼和浩特，一度吸引了三大运营商及百度等客户。
BAT级别的大客户，影响力与运营商不同。譬如，贵阳和宁夏中卫，在与北、上、深的距离上大体相当，贵阳的气候、环境不输中卫，还在线内（人口密集区一侧），基础设施等方面优势明显。结果呢？至少到目前看来，亚马逊旗下的AWS选择中卫，比三大运营商齐聚贵安新区，吸引了更为长久的关注。
同样是线内的欠发达地区，很大程度上出于创始人的影响，百度选择了离北京很近的山西阳泉，京东选择了离上海不远的江苏宿迁。在这种情况下，线内人口相对密集的优势就体现出来了——基础设施建设上的问题更容易解决。据说，内蒙某地的数据中心，一年要停水上百次，停电的次数也不少，数据中心虽然有蓄水蓄电的设施，但那毕竟是应急手段，常态化谁也受不了。
如果不能把球打在线内，那就尽量“压线”吧，国情的特殊性还是需要考虑的。
峰高，风吹
因为不太会在地图上标注，第一次查找张北的位置时，我感觉需要“鹰眼”，才能判定它是压线，还是出界了那么一点。
要紧的是，张北离北京很近，到天安门的直线距离仅190公里，公路距离约260公里。这样一来，张北的数据中心到阿里在北京的数据中心，延迟只有3ms（毫秒）多，接近同城的概念。得益于京津冀一体化，特别是京张共办冬奥会，两地政府密切协同，铺设了三条双路由光纤线路，既提供了足够的带宽（会上透露，未来布局是16T×3），也可以防止一两根“断缆”造成重大损失，为“两地三中心”的大北方奠定基础。
水平距离是柄双刃剑。远离北京这样的“霾都”，空气质量可能会好很多，还有可能升高纬度，降低气温，这两点都有助于节约制冷成本，提高能效（PUE）。然而，距离远了会增大网络延迟，况且高纬度并不能保证一直凉爽，北如“冰城”哈尔滨，亦曾连续出现35摄氏度以上的极端高温天气。
会场外景，注意右侧海拔数字
张北的优势主要体现在垂直距离，即1400多米的海拔。海拔每上升1000米，温度大约下降6℃，这是有保证的。也就是说，张北的气温至少比北京低8℃。实际情况表明，张北年最低气温可达零下38℃。
海拔升高，雾霾也上不来，前提是本地不要再产霾。张北本地无重工业，无污染，空气质量不错。空气好，温度低，两相结合，全年有346天可以采用新风制冷。
张北还有充沛的自然能源，满足数据中心的供电需求。据称，张北境内可开发风能500万千瓦，太阳能600万千瓦；风电并网233万千瓦，光伏装机并网14万千瓦，全县风电光电相加，年发电量可达60亿度。未来还将建设5座220千伏、10座110千伏变电站。张北县政府的目标是，2020年数据中心规模达到150万台服务器。
选址若此，可无忧乎？
三灾，善哉
只见菩提祖师对悟空言道：“数据中心选址乃非常之道，夺天地之造化，侵风水之玄机。要远离地震带，以防投产之后，地动山摇毁机。须要仔细勘探，预先规划。躲得过，用几十年；躲不过，就此over。若雨量过丰，天降水灾浇你。这水可能是洪水，也可能是暴雪。水淹一层机电，雪阻来去之路，将你运维人员困住，备件物资难以输送，五谷难食，四肢无力，纵千斤巨胖，饿为幻影。风能发电，但要小心风灾吹你。这风险过诸葛借的东风，可能是台风，也可能是龙卷风……”
悟空见那祖师大有讲完整本《数据中心选址规范》之意，忙说：“晓得了，晓得了，三灾就是风灾、震灾、水灾。”
祖师颔首：“正是。须知人算不如天算，天灾总是难以彻底躲开。一旦灾祸发生，亿万投资难救云计算于一时。”
悟空忙问：何以化解？
祖师犹豫再三，递给悟空一件比基尼。
悟空恍然大悟：您是说服务器未来要靠水冷？
祖师嗔道：三点式布局！
三中心，三巨头
作为数据中心行业的后进，我第一次看到“曲海峰”这个名字，已经是2014年4月底，西部云基地与亚马逊AWS在中卫合作建设数据中心的报道。
9月上旬，AWS技术峰会2016在北京召开。一周之后，也就是9月15日，国内某财经媒体的微信公众号上刊出一篇关于中卫数据中心建设的长文，其中有两段话：
“经过两年多的发展，亚马逊AWS在中卫部署的三个超大型数据中心已经建成。除了位于西部云基地的一座（A3点），另两座分别在中卫市的东南（D点）和西侧（B3点）——这也是亚马逊所独有的运行模式。普通数据中心是一个点，亚马逊是三个点的布局，彼此相距32公里至42公里，以光纤直连，围成一个近等边三角形将中卫市嵌入其中。三个数据中心建造完全相同，便于分散存储、互为备份和并行计算。这也是专为云计算定制的新一代数据中心。”
文中的一些细节和观点（立场），业内人士褒贬不一，这里不做公开评论。但是，很多人都知道，曲海峰想要亲手实现三中心布局的理念。
再援引一段《张家口日报》的报道：
“阿里北方云基地项目由阿里巴巴集团实施，项目计划总投资200亿元，占地630亩，容纳30万台服务器规模。其建设布局上采用“一点三中心”，一个示范展示点，即阿里示范展示点；三个相互备份数据中心，包括阿里张北云联数据中心、阿里张北数据港数据中心和阿里中都草原数据中心。”
已建成投产的云联数据中心位于庙滩（1号园区），数据港数据中心位于我们住宿的小二台镇（2号园区），与中都草原形成一个三角形布局。启动仪式所在的大厅，就占用了数据港二号建筑的一层部分区域。
数据港数据中心与云联数据中心相距近20公里，光缆传输的延迟小于1ms，逻辑上可以视为同一个数据中心。两地之间铺设多条光缆，不同路由，深挖至冻土层以下，以免被挖掘机等设备“误伤”。
9月19日，甲骨文宣布推出裸金属云服务（Oracle Bare Metal Cloud Services），官方新闻宣称：
“Oracle Bare Metal云服务的区域性部署由三个完全不受故障干扰的高可用域组成，可让客户在云端构建高可用、高耐久性应用程序。”
Oracle这个“可用域”（Availability Domain，AD）是什么概念呢？是为了满足高可用性（High Availability，HA）的构建单元，彼此间故障隔离（fault-decorrelated）的数据中心。我不能确定每个AD就是一座数据中心（也有可能是多个建筑），不过，有资料显示AD间的延迟小于1ms……
Oracle是公有云服务的后来者，但Oracle数据库的业界地位及其对高可用和低延迟的要求，是毋庸置疑的。
天寒，地冻
除了对“地”的依赖，数据中心也是个看“天”吃饭的行业。适度的低温是享受，温度太低就有罪受。
启动仪式上照例播了几分钟很煽情的视频，其中提到：零下38℃的低温，工人从住宿区走到施工区，短短200米的路程，胡子上就结冰了。
伟人说，与天斗，其乐无穷。数据中心建设者们则对老天充满了敬畏，一定要在冬季到来之前完成数据中心建筑主体的施工。阿里巴巴数据中心团队研究多时的全面模块化设计派上了用场，大量使用钢结构和预制模块，将建筑施工周期缩短了45天——不要小看这一个半月，2015年4月云联数据中心（1号园区）开工，6月数据港数据中心（2号园区）开工，建筑工期都只用了四个半月，相当于节省了四分之一的时间。
1号园区（云联数据中心）全景
难耐低温的除了人，还有柴油机。集装箱柴发在温暖的华东很有优势，譬如安装于楼顶，可节省建筑的面积和风道等设施。但是，面对可达零下38℃的严寒，数据港副总裁王海峰认为，柴发放在室外，加温条件有挑战，特别是低温启动。为此，数据港不惜为每个机房建筑增加1000多平方米的面积，把柴发纳入室内，并设置锅炉供暖。柴发室采用电动卷帘门，断电后几秒钟即可打开。
数据港数据中心采用一路市电+一路高压直流、7+1柴发后备的供电方案，这个角度可见一层的柴发室
下午，我们参观了两个风格迥异的数据中心。
激进，务实
先从启动仪式所在的2号园区开始。张北县政府网站的资料显示：
“阿里数据港张北数据中心是阿里巴巴北方云基地项目建设‘一点三中心’的第二个数据中心，服务于阿里巴巴云计算，由上海数据港公司投资建设机房楼及配套设施，阿里负责购置服务器及云平台运营，在小二台镇政府北选址占地200亩，建设容量10万台服务器。项目一期于2015年6月8日开工建设，建筑面积3.2万平米，满足4.3万台服务器的对外服务规模。”
阿里数据港张北数据中心全景，外面的建筑已投产，启动仪式在里面的建筑内一层举行
已完工的一期包括两个呈“工”字形布置的机房，中间相对的是各自的冷冻站。一个机房的建筑面积为13000平方米，可容纳1000个机柜，每个机柜供电8KW——在去年参观过的阿里巴巴千岛湖数据中心，这样的一个机柜可以容纳22台服务器（1U的天蝎节点，或2U通用服务器）。稍微计算一下，两个机房大约就是4.3万台的样子。
两个机房之间的水冷设施
靠水吃水，靠山喝风。千岛湖数据中心的创新在于“水”，数据港数据中心的卖点则是“新风”，以不负清冷的空气。建筑为两层结构，一层高7.5米，布置机电设备；2层高9米，借鉴了雅虎著名的“鸡舍”设计，以充分利用自然风。
机房顶部凸起的排气通道及其百叶窗，是“鸡舍”风格最显著的特征
机房层比设备层还高的数据中心，在国内并不多见，何况还没有架空式地板——这是采用弥漫式送风的一个好处，既加快了施工速度，也有利于整机柜的部署——虽然阿里买天蝎整机柜的数量不算多。更重要的是，封闭热通道，整个机房就是一个大冷池，加大层高，断电后温升不会太快，也可以防止远端送风不匀导致出现热点，是一种以空间换资源的做法。
2U服务器仍是阿里数据中心的主力
说到这里，我不禁想起，9月27日举办的开放数据中心峰会上，某电信运营商代表认为，数据中心层高不宜过高，因为会提高成本，还有（政策法规对）楼层高度的限制。放在他的角度，这么说自然有其合理性，但BAT的同行们可是把数据中心作为一个整体来考虑：机房层高增加1米能增加多少建筑成本？机房的建筑成本再往以十年计的生命周期里均摊，跟节约的电费相比，又算得了什么？
回到正题。与全部采用自然风的雅虎“鸡舍”数据中心相比，数据港的实现还可以封闭内循环，以防出现沙尘等天气，加上新风和混风，支持多达三种制冷方式。阿里巴巴IDC技术专家陈炎昌可谓“鸡舍”的粉丝，惜乎这次没在现场见到他。
另外一大区别是，雅虎计算鸡舍（YCC）为自用，SLA（Service Level Agreement，服务等级协议）可适当放宽，譬如温湿度可更靠近极限；而数据港毕竟是建设给阿里用，对SLA有要求，就不能一味追求PUE的降低。目前的数字是，PUE年均1.25，最低1.13。
水冷管路、冷机和板换，一时半会还抛不掉
保留水冷也是出于安全的考虑，虽然张北一年只有两周多时间不适合新风，两个机房建筑之间还是设置了储水池和板换，等新风过滤、加湿得到足够验证，新的建筑再去掉水冷。储水池兼有积水池的沉淀作用，阿里巴巴数据中心团队到张北后不久就开始打深井，看是否符合水冷要求。
传统，时尚
位于庙滩的云联数据中心，在几个关键点上，简直是小二台数据港数据中心的反面。
云联数据中心的建筑风格，从外面看起来，像个扁平的一层厂房，很有些美式大平层仓储式数据中心的感觉。走进才发现，还是两层结构，一层机电和部分机房，二层机房，大约都是6米左右的层高。
关键在于，仍然采用较为传统的水侧自然冷，有一个名为“天池”的独立冷站，通过不锈钢管道向机房楼输送冷冻水。从制冷的技术路线来看，与阿里在北京和杭州的数据中心没有本质区别，降低PUE主要靠优越的自然条件。
甚至柴发的待遇，也与数据港相反：集装箱，放室外，通过园区暖气管路供暖。
云联采用水侧冷却很大程度上是阿里的要求，毕竟新风还没有经过足够的检验，万一出了问题，在张北至少还有一个数据中心可用。其他细节则尽显现代化数据中心的风采：弥漫式送风，取消架空地板；大卷帘门便于进出，全尺寸轿厢的液压电梯（虽然只上一层），载重四吨，运输多个52U的AliRack无压力。
阿里张北数据中心的设备统一采用四种颜色：中国红，阿里橙，Tiffany蓝，还有……蒙古白
不仅机柜，电力模块等设备的配色，以及VRLA电池的型号等等，两边的数据中心也是一样的，比较直观的体现出阿里的影响。
与机房区的传统相比，云联数据中心的生活区可谓相当时尚。特别是生活楼，精心设计的休息室和阳台，供常驻的工作人员消磨时光；还有“复式”结构的指挥大厅，设有两层楼高的大屏幕，透过二层会议室的落地窗，可尽收眼底。据说，今年双11基础架构运维的主指挥部将设在这里。
传言，感慨
回到北京之后，又陆陆续续听到了一些业内人士的评论。
某供应商人士说，阿里巴巴的DCI（Data Center Interconnect，数据中心互连）建设，在国内是做的最好的（至少张北到北京之间很有说服力），可能使阿里云获得明显的竞争优势。
其他多个渠道的消息透露，除了新采购的部分服务器，其他地区的数据中心也会有不少服务器迁往张北，因为和一些老旧的数据中心相比，张北的两个数据中心在能效等方面的优势很明显。
不过，数据（通过DCI）和机器在阿里各数据中心之间的迁移相对简单，运维人员的迁移涉及的因素就要复杂得多，张北、中卫、阳泉等地，已不同程度的面临人力资源的难题。在交通方式没有出现飞跃的情况下，恐怕只能先寄希望于提升运维自动化水平，降低数据中心对人的需求吧……
