科技云报到 · 2023年07月08日 · 北京市

从“存算一体”到“存算分离”:金融核心数据库改造的必经之路

科技云报道原创。

近年来,数据库国产化趋势愈发明显,上百家金融业试点单位在数据库国产化的进程中,进一步增强信心,向50%国产化率大步迈进。

但随着数据库国产化的深入,一些金融机构采用国产数据库+服务器本地盘的“存算一体”部署策略,逐渐在实践中暴露出短板,难以满足金融核心的场景需求。

金融机构想要高效安全地完成核心数据库国产化改造任务,到底该如何破局?

未命名1688698962.png

“存算一体”难以满足 金融核心系统改造

在金融行业,数据库使用涉及多种场景,如:核心交易、互金类APP、分析类应用、办公应用等。

尽管金融各类业务场的数据库系统都在逐步向国产数据库改造,但除了办公等非关键业务场景,核心业务场景改造仍进展缓慢。

究其原因,主要在于国产数据库尤其是国产分布式数据库,大多采用“存算一体”架构。

在金融核心业务场景中,对数据库的高并发、易扩展、数据的时延性、强一致性等方面都着严格要求,但“存算一体”架构却难以支撑,主要体现在以下几点:

●服务器可靠性不足

存算一体架构采用服务器本地盘部署方式,但服务器的可靠性有限,服务器故障会导致硬盘失效,副本冗余度降低,一旦出问题数据库就无法访问乃至丢失数据。同时,服务器故障修复起来也需要较长的时间,运维管理过于复杂。

数据同步难做到强一致性

由于服务器本地盘的可靠性不足,存算一体架构下数据库往往通过一主多备的形式提升系统可用性。但在主库和备库间同步数据时,几乎无法同时满足金融核心对高性能和强一致性的要求。

●资源利用率不高,无法按需扩张

由于计算和存储强绑定,存算一体不可避免地存在CPU的争抢,有限的CPU在业务繁忙的情况下往往顾此失彼。

在扩容时,计算和存储资源扩容不可能一致的同比例被消耗,势必导致一边资源出现浪费,无法实现资源的按需扩张。

由于数据库弹性伸缩能力出现挑战,再依靠堆叠节点数量来提升性能和可靠性,企业成本势必也会持续增加。

●容灾不满足行业要求

在金融核心场景,容灾是必要的能力。对于五大行或头部股份制金融机构的核心系统而言,基本都要求达到RTO分钟级、RPO=0的最高水平。

而存算一体架构在主备库间复制产生的问题,在容灾场景下表现更为显著,因为链路拉远后故障场景更为复杂。

目前采用存算一体架构的数据库,几乎都采用单集群拉远+异步复制模式,核心业务下多集群数据库强一致性容灾的案例几乎没有,很难满足金融核心系统对于容灾的要求。

回顾存算一体架构为何会兴起,互联网企业在其中扮演了关键角色。

大约20年前,互联网时代兴起,数据井喷式增长,互联网电商对数据库提出了水平扩展、大集群规模、高并发等新诉求。

当时在国内市场形成垄断的“IOE”数据库系统,由于架构欠缺横向扩展能力,越来越难适应互联网业务激增的性能和灵活扩容诉求。

同时由于市场垄断,“IOE”系统的价格十分高昂,国外厂商对国内企业的诉求响应优先级也比较低,导致使用和维护“IOE”的成本逐年走高。

出于成本和反垄断的考虑,也恰好因为互联网业务对扩展性、吞吐量要求高,但对可靠性要求不高,以大型互联网厂商为代表的国内企业开始提出“去IOE”的想法,存算一体架构由此出现。

而大型互联网厂商在自身技术成熟后,有了更多将能力外溢和变现的商业动机;同时互联网本身具备极强的布道性,带动了国内许多数据库厂商选择“存算一体”路线进入这个风口,“存算一体”数据库也因此从互联网行业走进了更多行业。

但也应看到,在金融和其他行业中,“存算一体”数据库更多部署在其新兴互联网业务或非核心业务中。

毕竟对于这些行业而言,并没有互联网行业那么大的并发访问需求,也没有那么多的数据需要存储。

相反,业务连续性、可靠性是第一考虑因素。这也是为什么金融等行业的核心业务数据库改造总显得步履维艰的原因。

不过历史总在轮回,如同当年“IOE”架构让数据库从“存算一体”走向了“存算分离”,而国内的“去IOE架构”和上云浪潮又让数据库从“存算分离”走向了“存算一体”,如今在企业数字化转型不断深化的进程中,数据库再次走到了“存算分离”的技术拐点”。

“存算一体”转向“存算分离”成为大势所趋

从目前业界的技术发展趋势看,IT巨头们都不约而同采用了共享存储的方式,通过“存算分离”架构,去提升数据库的整体能力。不论是AWS Aurora,还是华为GaussDB、阿里PolarDB、腾讯TDSQL,都在向存算分离架构靠拢,这绝不是一种巧合。

FaceBook在提出“技术拐点论”时指出,当下之所以可以实现存算分离的技术原因,在于传输协议和带宽能力已不再是IO瓶颈,可以基于低延时、高带宽支持大量数据相互间同步。

当传输性能短板被填补以后,以及存储技术的提升,必然会迎来IT架构的变革。业界发现采用存算分离,可以基于架构变化带来事半功倍甚至从0到1的改变,从而让数据库替换的代价变小。

正因如此,新一代存算分离架构正成为全球数据库大势所趋,其优势非常明显:

●可靠性提升

在存算分离架构下,数据被存放在高可靠的专业存储中,即使服务器损坏,数据也不会丢失,换一台新的服务器仍然可以照常使用。

特别是高端存储从体系架构设计出发,提供了超高的故障容忍能力,提升了可靠性短板,减少因可靠性、运维能力不足造成的硬件冗余。

●主从强一致性

存算分离后,就无需多副本数据同步,性能问题可以很好的得到解决,存储资源的利用率也大大提升,从而为主从强一致打下了基础,进一步可以实现多主多写。

●资源按需分配,扩容灵活

存算分离架构下,存储不消耗计算节点的CPU资源,计算节点专职负责数据库的运算,而且存储性能的提升有利于充分发挥服务器CPU利用率。同时,计算和存储可以弹性扩展,按需分配,灵活迅速。

●专业级容灾

存算分离后,可以利用专业企业存储的容灾备份能力,如快照、复制等,满足金融核心业务的数据保护需求。

●能力复用

此外,使用共享存储成熟的备份恢复、SSD介质延寿、亚健康等能力,还能快速提升数据库整体解决方案能力,节约开发成本。

事实上,新一代存算分离架构是业界基于当前改造的现状和本地盘部署的弊端不断探索出来的,更是互联网企业和数字化转型企业的共同选择。

只有将数据库升级为存算分离架构,把不可靠的计算设施和数据分离开,由更加可靠的专业存储来保存数据,才能从根本上解决存算一体数据库系统不可靠的问题。

唯有提升了可靠性,金融行业才敢于把关键业务交给新一代国产数据库,才有破局的可能性。

“存算分离+专业存储”是金融核心数据库的最优选择架构

如今随着政策形势和业务需求变化,国产数据库走向金融核心已是大势所趋。

在追赶业界领先者的道路上,国产数据库更应站在巨人的肩膀上,利用存算分离架构既有优势,打造场景普适性更强、更有竞争力的产品。

近日,华为存储与南大通用共同发布的“金融核心级数据库高可用解决方案”,正是基于“存算分离+专业存储”的领先架构,率先为金融业提供了国产化的核心数据库改造落地方案。

图片1.png
据悉,该联合方案在可靠性、性能与能效上均能满足金融核心业务需求:

●高性能:实现一写多读,性能大幅提升

联合方案实现一份数据库副本一写多读能力,使能业务系统读写分离、负载均衡;数据并发处理性能大幅提升,实现业务交易平均响应时延缩短20%,批量处理时间较缩短38%,数据备份耗时缩短6倍。

●高可靠:异地双重容灾保障,RPO=0

联合方案采用双重容灾机制确保核心业务系统高可用。在应用层,实现基于逻辑复制的数据库容灾,备库可读;在存储层,确保数据高效、完整复制到容灾站点,且不影响工作站点性能,确保RPO=0,满足金融核心系统业务要求。

当前,该联合方案已在西南某城商行核心业务系统商用落地并稳定运行,成为我国金融业核心数据库改造的标杆案例。

从行业层面看,华为作为全球存储领导者,南大通用作为国产数据库“四小龙”之一,两者的强强联合为业界带来了切实可落地的国产化改造方案,使得金融、运营商等关基行业不再受制于存算一体数据库的短板,大胆将核心业务交给国产数据库,进一步加速我国关基行业核心数据库的国产化进程。

正如GBase南大通用 8s数据库总经理崔志伟所说,南大通用和华为均是我国扎根IT基础设施技术多年、达到业界领先水平的基础设施供应商,面临传统核心系统改造这一历史转折点,这既是挑战、也是机遇。

存储与数据库的持续合作创新,将进一步促进我国基础设施核心系统升级转型。

在技术层面,该联合方案所采用的“存算分离+专业存储”,不仅是金融核心数据库的最优选择架构,更代表着未来数据库的技术趋势,这使得中国数据库与国际领先数据库在性能与可靠性上的差距进一步缩小。

事实上,中国并不缺少优秀的数据库和存储厂商,从数据库产业链上下游来看,国产技术已全面成熟。

但是从全球数据库市场看,中国数据库厂商在占全球数据库厂商总量的32%;而在全球700亿美元的市场规模中,中国市场只有47亿美元,仅占5.2%。

根据DB-Engines Ranking 2023年数据显示,全球热度最高的数据库中,前100名中均无国产数据库。

随着国际局势持续紧张,一方面数据库国产化替代急需加速,另一方面国产数据库走向世界也是大势所趋。

国产数据库想要参与国际竞争,就必须面对Oracle、IBM、谷歌、AWS等国际数据库巨头的巨大竞争压力,而解决之道无外乎两点:

一是,正视与国外领先数据库的差距,并借鉴其成功经验。国产数据库需站在“存算分离”架构的技术优势上谋发展,通过追求技术领先来参与国际竞争。

二是,加强国产基础设施协同。国产数据库不能“同行内卷”、“全栈通吃”,而是要国产产业链间通力合作,共同加快国产数据库的发展,才能直面激烈的国际竞争。

如今,华为存储和南大通用的合作,正是国产基础设施合作、整合产业链优质技术的典范,这也将鼓励更多国产技术厂商从竞争走向合作,助力国产数据库加速发展。

结语

随着企业数字化转型的不断深入,“存算分离+专业存储”架构正在成为金融核心数据库共同的选择,也是最适合当前时代发展需求的一种架构。

在此基础上,相信国产数据库和存储厂商的紧密合作,也将走出中国数据库领先的未来。

【关于科技云报道】

专注于原创的企业级内容行家——科技云报道。成立于2015年,是前沿企业级IT领域Top10媒体。获工信部权威认可,可信云、全球云计算大会官方指定传播媒体之一。深入原创报道云计算、大数据、人工智能、区块链等领域。

推荐阅读
关注数
9
内容数
119
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息