众所周知,在IDC和Gartner的统计中,超融合系统一直是融合系统市场的一个分支。那么,不管两家分析公司如何预测,一定要关注超融合系统在整个融合系统市场中所占据的份额何时攀升到第一位,这标志着其将从此成为市场主流。就在十一之前,IDC公布的2018年第二季度全球融合系统追踪报告,宣告了这一拐点的到来。
这不由得让我想起2016年夏天写的《超越融合:超融合架构相关概念与分类》一文,主要讨论的是融合系统的架构演变及其驱动力。转到收入的层面,超融合系统超越传统融合系统,实现速度快得有点超出预期。论增长率,第二季度78.1%的数字,与当年持续的三位数增长显然没法比,但在收入不断跃升之后,增长率的放缓也是必然。关键在于,其他两大区块坠落速度太快:
- 认证参考系统(certified reference systems)和集成基础设施(integrated infrastructure)收入同比下降13.9%,份额38.1%;
- 集成平台(integrated platforms)销售同比下降12.5%,份额20.7%……
此消彼长,融合系统市场从前的“小弟”超融合系统,遂以41.2%的份额,首次成为老大。
这两年间,IDC对融合系统市场的分类和统计方式做了不少调整,一个是恢复了集成平台的独立统计,整体分类方式与Gartner完全对应;另一个是超融合系统市场按照完整解决方案的品牌与核心软件提供商这两个维度排名。类似于后者,我在2017年可信云大会和第二届日知录企业存储峰会上发表的演讲中,也给出了更为细致的分析,详见文末插入的表格。
除此之外,这篇首次发表于2016年7月4日的文章,主体内容仍未过时,故而再次发表如下,供大家参考。
近几年来,超融合系统的热度越来越高,各种打着超融合旗号的公司和产品如雨后春笋般涌现,令人眼花缭乱,同时也引发了很多困惑:究竟什么是超融合系统?与融合系统是什么关系?一体机又是怎么回事?
最关键的是:超融合有什么用?回答了之前的问题,也就不难理解了。
基本概念与分类
无论从中英文的字面意义来理解,超融合(Hyperconverged)都应该是在融合(Converged)之后发展起来的——如果要分类,前者应该属于后者的一支。
IDC和Gartner也是这么认为的,虽然在细节上有所区别。
譬如,Gartner似乎很喜欢Integrated(集成)和Infrastructure(基础设施)这两个词。大的分类上,IDC所谓Converged Systems(融合系统),Gartner称为Integrated Systems(集成系统)。
IDC与Gartner对融合系统的大致分类(注:随时间推移略有变化)
(注:在本文发表之后,IDC公布的2016年第二季度全球融合系统追踪报告起,重新将Integrated Platforms单独列出,并将Integrated Systems和Certified Reference Systems一起统计。于是,IDC和Gartner在融合系统的细分类别上恢复了一一对应的关系)
IDC将融合系统(Converged Systems)分为三类,前两类——集成系统(Integrated Systems)和认证参考系统(Certified Reference Systems)——主要是供应商构成不同,技术成分上基本没有区别,都是由服务器硬件、磁盘存储系统、网络设备供应商和基本构件/系统管理软件组成的供应商认证的预集成系统。
Gartner也有对应的分类,分别称为集成基础设施(Integrated Infrastructure)系统和参考架构(Reference Architecture)系统,合称融合基础设施(Converged Infrastructure,CI)。
简单的说,就是看这套系统是否由一家厂商提供。VCE的Vblock由VMware虚拟化、思科服务器和网络设备、EMC存储系统组成,但VCE在EMC旗下,所以Vblock属于“集成”(系统或基础设施),而思科与NetApp合作的FlexPod则属于“参考“(认证系统或架构)。
Gartner还比IDC多一个分类,即集成堆栈(Integrated Stack)系统,可以理解为集成基础设施系统加上应用软件,如Oracle的Exadata数据库一体机,在IDC的定义里仍属于集成系统(注:如上表所示,从2016年第二季度的统计开始,独立为“集成平台”)。
超融合系统(Hyperconverged Systems)是后起之秀,与上述(传统的)融合系统最大的区别,就是有能力用同样的服务器硬件资源提供所有的计算和存储功能。换言之,在超融合系统中,不需要专用的存储子系统(如磁盘阵列)——但在必要时,也可以有(如JBOD)。
HCI和CI是被业界使用较多的两个缩写,CI代表融合架构,前面加上的这个H就是Hyper,全称为HyperConverged Infrastructure,即我们常说的超融合架构。
超融合系统与之前的融合系统相比,最大的区别就是以(与上层应用软件一起)运行在标准(x86)服务器硬件中的软件定义存储替代了传统的SAN存储系统,不仅华为(Huawei)、惠普(HPE)等服务器大厂积极推出相应的产品,还催生了以Nutanix、SimpliVity为代表的一大批初创公司。
市场态势与趋势
无论哪种融合系统,存储都是其中的重要组成部分。今年3月底,IDC公布的2015年第四季度及全年的全球融合系统追踪报告显示:2015年第四季度,通过融合系统出货的存储容量新增1547PB,同比增幅达26.9%。然而,存储不一定非要以相对独立的“存储”(系统)的形式存在,超融合系统的快速崛起正代表了这种需求转移。
IDC认为:一些倾向于低平均售价的市场需求,驱动从传统融合系统转向超融合系统;大部分增长来自中端市场,主要流向了超融合系统。其结果是,该季度在整个融合系统市场收入同比增长8.5%的大背景下,超融合系统的增长率高达170.5%。
目前,超融合系统在整个融合系统市场中所占的比例还不够大,但正如上面所显示的,高速增长的势头有望迅速抹平差距。Gartner预计,超融合系统今年的增长率为79%,市场规模将从(2016年的)近20亿美元增长到2019年的约50亿美元,在融合系统市场占比达四分之一(24%),并在2020年成为数据中心的主流。
难道说,从传统的融合系统到新兴的超融合系统,就是个存储的故事?当然不止于此,整个过程体现出“计算为主导,存储为区分,软件为核心,网络是未来”的发展轨迹。
融合系统的诞生
融合系统是硬盘时代走向尾声时的产物。
众所周知,硬盘(驱动器)的随机I/O性能很差,而企业的关键业务应用如Oracle数据库需要很高的IOPS,以VMware为代表的服务器虚拟化则将原本可能是顺序访问的操作变成了随机访问,服务器内置的少量硬盘根本无法满足性能需求。
外置磁盘存储系统可以将数百乃至上千个硬盘聚合在一起,输出较高的I/O性能,并通过SAN(Storage Area Network,存储区域网)被多台服务器共享。既然服务器内置硬盘的I/O性能几乎可以忽略不计,不如专心提高计算密度和集中管理。所以,2005年前后,伴随着VMware虚拟化的兴起,刀片式服务器和存储行业都获得了快速的发展。
刀片式服务器集成了高速的网络,将不同的计算节点(服务器刀片)连接在一起,这可以说是一种(计算与网络的)融合。但这显然不够,因为在企业应用环境中,刀片式服务器高度依赖SAN存储设备(外置磁盘阵列)。
所以,一个完整的解决方案通常包括了服务器、SAN存储和异构的网络——SAN主流的FC(Fibre Channel)网络与服务器常用的网络技术(以太网和InfiniBand)有着很大的不同。刀片式服务器集成的网络模块或功能强大的交换机可以减少设备的种类,却仍要面对管理的复杂性。于是,不仅采购部署的周期长,后期的服务也经常要面对多家供应商。
在这种情况下,由单一供应商提供包括服务器、存储、网络在内的预集成、预验证的完整解决方案,就形成了融合系统,这方面的典型代表是VCE。
2009年11月初,思科(Cisco)、EMC和VMware联合发起虚拟计算环境(Virtual Computing Environment,首字母分别对应三家公司名称)联盟,英特尔(Intel)也有投资。联盟于2010年推出用于构建私有云的Vblock基础架构包,由思科的服务器和网络设备、EMC的存储、VMware的vSphere虚拟化套件组成。
面向虚拟化应用的融合基础设施
2011年1月,VCE联盟演变为同名的公司。2014年10月,EMC掌握了公司的控制权,并于2016年初将VCE并入其融合平台部门(Converged Platform Division)。思科也不想一棵树上吊死,早就与EMC的竞争对手NetApp合作了FlexPod。
如前面所说,同样用途的融合系统,Vblock属于集成系统或集成基础设施系统的分类,FlexPod则要划入认证参考系统或认证架构系统的分类。
融合系统简化了用户的采购、部署、管理、服务等环节,而厂商也多了一种卖存储产品的方式。除了EMC和NetApp,惠普、IBM、戴尔(Dell)等服务器厂商把自家的存储产品“融合”在一起,HDS这样相对独立的存储厂商也可以与母公司日立(Hitachi)的服务器产品相结合。
融合基础设施简化了系统安装和业务部署的过程,但传统SAN存储的扩展性和性能问题没有解决,管理性也没有得到根本的改进
从技术角度,融合系统只是服务器、SAN存储和网络设备的组合,一体化交付,尽可能的“开箱即用”,只要三者搭配得当,理论上什么类型的应用都可以很好的支持。不过,在实际应用中,融合系统的一大主战场是虚拟化应用,如服务器虚拟化和VDI(Virtual Desktop Infrastructure,虚拟桌面基础架构)。常见的情况是,中小型应用环境采用机架式服务器与中低端存储的组合,大型应用环境则是刀片式服务器加高端存储。
融合系统活跃的另一大应用领域在数据库市场,即我们常说的数据库一体机。
向超融合系统演变
数据库一体机的典型代表是Oracle Exadata,其问世时间还要早于VCE及Vblock。
2008年9月下旬,Oracle在其年度大会(OOW)上宣布推出基于惠普x86服务器硬件的数据库一体机“HP Oracle Database Machine”,一个完整的机柜系统包括8个数据库节点和14个Exadata存储服务器(Cell),全部预装Oracle Enterprise Linux,采用InfiniBand(IB)互联。数据库节点运行Oracle 11gR1和Oracle RAC(Real Application Clusters,真正应用集群)。
一年之后,已经完成对Sun收购的Oracle,推出基于Sun x86服务器硬件的Exadata数据库一体机(Oracle Exadata Database Machine),Exadata不再只是存储服务器的名字,而是Oracle所谓Engineered Systems(工程系统)家族中最早的成员。
不论Vblock还是FlexPod,都提供了预集成、“开箱即用”的全套解决方案,简化了部署和后续管理,帮助用户更快的构建私有云。但是,其各大组成部分只是“粘合”在了一起,而没有真正的融合:服务器还是服务器,存储还是存储。
Exadata则不太一样。
Exadata仍然有专门的存储节点,且最初就因其基于x86硬件的存储服务器而得名。但是,Exadata的存储服务器并不是SAN存储设备,没有专用的存储网络,计算和存储节点之间统一使用高速的InfiniBand互联。消灭网络的异构不是主要目的,而是Exadata一开始定位在注重带宽的OLAP(On-Line Analytical Processing,联机分析处理)应用,带宽可以随存储节点的加入获得近乎线性的扩展,即横向扩展(Scale-out)——传统的SAN存储设备为纵向扩展(Scale-up)架构,带宽和处理能力受限于存储系统控制器的上限。
Exadata仍然有相对独立的存储设备,但是这些被称为Cell的存储服务器采用分布式存储,组成横向扩展架构
为了进一步提高效率,减少不必要的数据传输,Exadata采用Oracle独有的Smart Scan技术,即利用存储节点具备的一定计算能力,将简单的查询下发到存储节点上执行,只返回少量结果数据。这很好的体现了“让计算靠近存储,或者让存储靠近计算”的优势。
Exadata可以将简单的查询请求从数据库(计算)节点上卸载到具备一定计算能力的存储服务器上执行,降低不必要的网络传输,(逻辑架构层面)具备了部分超融合系统的特征,软件和硬件一体化的优势初显
基于惠普硬件的第一代Exadata,存储节点全部采用硬盘驱动器,14台Exadata存储服务器最多168个(14×12),与SAN存储设备比拼堆硬盘没有什么胜算,所以不具备OLTP(On-Line Transaction Processing,联机事务处理)能力。第二代Exadata则通过在存储服务器中加入PCIe闪存卡(SSD,即固态盘)解决了这一问题,发展为兼具OLAP和OLTP能力的系统。
与VMware虚拟化一样,Oracle RAC需要一个所有计算节点共享的统一存储池,可以是单个(纵向扩展)物理存储设备,也可以是多个物理节点集群(横向扩展)构成的逻辑存储池。Oracle ASM( Automatic Storage Management,自动存储管理)软件对接的Exadata存储服务器属于后者,我们可以将其视为专门为Oracle数据库应用优化的软件定义存储。
闪存技术支持下的软件定义存储,是走向超融合系统的关键一步。
超融合系统架构简析
IDC对超融合系统的定义是,节点间没有明确的计算和存储的分工,在同一个服务器硬件资源(目前主要是x86服务器)上实现核心的存储和计算功能,封装为单一的、高度虚拟化的解决方案。
通过分布式的软件在多个标准(x86服务器)硬件节点上实现传统存储设备所能提供的主要功能,是软件定义存储(Software Defined Storage,SDS)的典型特征。为了满足可用性的要求,超融合系统通常从三个节点起步,要扩充容量和性能,只需在现有网络中加入新的节点即可实现自动扩展,直至几百或上千个节点,部署速度快,易于管理,规模上限大。
使用大量标准的x86服务器组成集群,没有(物理的)共享存储设备,把分布在每个节点上的服务器本地存储,用我们今天称为软件定义存储的方式聚合为可共享的逻辑存储池,是大规模互联网(Web-scale,或称Hyperscale)基础设施的典型特征。超融合架构符合上述描述,被广泛认为是互联网技术影响传统IT企业领域的体现。
可以粗略地认为,超融合系统是以SDS替代了传统融合系统中的SAN,主要成分是构筑于标准服务器硬件上的软件定义存储加(服务器)虚拟化。
融合基础设施只是实现了计算、存储、网络和管理的“集成”,超融合基础设施才是真正的“融合”
之所以要强调虚拟化,是因为现有的技术背景下,每个节点都要运行存储软件功能的话,就必然不是裸机环境,适合安装hypervisor,在虚拟机(VM)中运行应用,即计算与存储功能(在单一节点上)的融合。所以,有观点认为,超融合这个名词中代表“超”的前缀“Hyper-”特指(基于hypervisor的)虚拟化。不过,随着容器技术的普及,未来每个节点可以在容器中运行应用——如微服务(Microservices)架构——尽量避免hypervisor层的开销。
若此,互联网技术将继续引领超融合架构的发展。
以当前观之,符合上述定义的超融合系统主要用于取代面向虚拟化应用的集成系统或认证参考系统(传统融合系统),数据库一体机还是尽量让数据库运行在物理机上,获得尽可能高的性能。
不过,这并不意味着数据库一体机不能被纳入超融合的体系。不仅Oracle已经宣称最新的Exadata能够很好的支持Oracle VM,更为重要的是,华为FusionCube超融合基础设施在2012年华为云计算大会(HCC)上发布时,即能同时支持物理机(数据库)和虚拟化环境,详细情况将于下篇文章展开分析。
超融合系统像之前的融合系统一样大幅简化系统安装和业务部署,并包含预集成、预验证和统一服务
超融合系统也有类似“集成”和“参考”的分类,与融合系统主要是因产品组合导致的情况不同,这涉及到商业模式的问题,在初创企业中比较常见。既然超融合系统本质上是x86服务器上预装存储、hypervisor和管理等软件功能,那么,既可以作为打包的一体化解决方案销售,也可以只销售软件给服务器厂商或集成商,即解决方案提供商(如EMC)与软件供应商(如VMware)的区别。
对处于初创阶段的企业而言,以自己并不足够强大的品牌销售,渠道也是个问题;另一条路呢,要匹配多个厂商的硬件(软件OEM模式),尽管都是相对标准的x86服务器,还是要有大量针对性的优化和认证工作要做。Nutanix、SimpliVity、Nimboxx都属于前面的“一体机”派,Maxta则是后面“Software only”派的代表,不销售自己品牌的硬件。
超融合系统的商业模式(2017年版)
商业模式显然比技术路线更容易调整。为了更快速的增长,Nutanix在超融合竞争对手越来越多的情况下,先后选择戴尔和联想(Lenovo)作为硬件合作伙伴,两条路并行,扩大覆盖面,也是资本市场愿意看到的。
正如上一节所指出的,分布式存储只是构成超融合系统的必要条件之一,另一个是SSD(Solid State Drive),它使得计算节点只凭内置存储就可以获得足够的性能,不再需要通过外置存储系统堆积大量的硬盘。如果说传统融合系统是硬盘时代的遗存,超融合系统则伴随着闪存存储的崛起。
x86平台 + SSD + 分布式存储(软件) + 高速网络 ≒ 超融合系统?
下一篇文章,我们将进一步为您解析超融合系统的技术构成。