脑极体 · 2021年06月21日

“云边+端”三管齐下,“有蓉”数据库助力四川气象进入天擎时代

《华阳国志巴志》中曾记载:蜀国“山林泽鱼,苑囿瓜果,世代节熟,靡不有焉”,适宜的气候孕育了丰富的物产,滋养了擅长调制百味的巴蜀人民,也锻炼出了驾驭自然、明辨天时的能力。

诸葛亮“夜观天象,知天下大事”的本领,让人赞叹不已。而今天,四川正在用尖端的计算科学来把握风云变幻。
图片1.png

国内老牌数据库厂商虚谷伟业基于开源数据库openGauss,研发的商业发行版数据库——有蓉,就被应用于四川气象局,助力气象服务。两者结合,将会炮制出怎样的川味气象体验?又能为四川人民的生活带来怎样的新气象?

数据这份“食材”的时代挑战

一个好的气象系统能带来什么,答案可能是:为农林牧副渔等产业提供安全生产的有力支持,把恶劣天气和极端事件可能带来的负面影响降到最低;对气候和环境的监测与了解,也能为当地的可持续发展提供指导。

目前,已有多个省市将“完善气象基础设施”纳入地方“十四五”规划纲要,为防汛、防火提供气象技术服务,确保人民生命财产安全。

这样一盘利国利民的好菜,数据“食材”自然也要跟得上。而这,就给IT基础设施中的基础——数据库提出了诸多挑战。比如说:

气象数据的来源多维,既有模式数据,也有气象站、卫星、传感器获取的实况数据,传统数据库架构面临的挑战越来越大;

时空精度要求的提升,也对气象数据计算量级、存储容量、吞吐量等提出了新的需求;

气象涉及到公共服务的重要数据,因此数据安全,数据可控和数据主权是气象数据库的关键需求。
图片2.png

这一背景下,2019年7月,国家级气象大数据云平台“天擎”上线,就具备海量数据存储、全业务贯通、数据高效应用的能力,成为气象关键IT基础设施,支撑各类气象业务应用的云化,四川的气象数据也通过“天擎”省级数据库来承载。

“有蓉”调制出川味气象基建特别滋味

精准的气象服务,依赖于丰富庞杂的天气数据和实时高效的计算量级。天擎“云+端”的标准架构,原理是把所有数据集中在云端,也意味着全网任何一个业务操作,均需要云端数据库配合,这对云端的性能,数据吞吐能力和数据安全性提出了前所未有挑战。

因此,四川气象基于“天擎”得“云边+端”方案,赋予了“有蓉”数据库独特的味道。

首先,专门调制的“云边+端”方案,打造极致性能、业务吞吐与数据安全的业务架构铁三角。

一方面,端侧集中提供本地应用服务,边侧数据中心也能提供汇聚数据服务并按需与云上保持一致,解决了数据统一集中在云端而导致数据吞吐量过大的问题。
图片3.png

另一方面,边与端直面向区域用户提供服务,可以做到数据隔离,降低数据安全风险。这样服务下沉,分散到各点后,性能压力分散,减轻云上的业务性能压力。

此外,多项独家“配方”的应用,让“有蓉”可以更安心地应对气象大数据挑战。

作为“天擎”系统核心TP数据库的产品服务商,虚谷公司十分重视核心技术创新,虚谷数据库源代码自有率达到了99.5%。全套国产化软硬件,可以避免基础软件层面的不确定性,安心承载重要数据。

“有蓉”的出现,让云时代的气象数据和服务,被赋予更多新的风味与可能。

支撑数字山河,凭借先进的数据库产品构筑创新底座

更深一步,搞清楚“有蓉”背后的创新因果与逻辑,能帮助我们更清晰地理解,数字变局需要怎样的数据底座?具体表现为四个特征:

第一,边侧数据库的引入,为数据服务搭建了“高速通道”。

以“有蓉”数据库为例,数据可以被快速汇总,各种气象传感器的数据源以更短路径发送到端侧数据库中;数据快速存储,集中在云、边的访问量被分散在边侧,可以快速把数据入库;基于鲲鹏全栈的方案(鲲鹏服务器+openEuler操作系统+有蓉数据库〈openGauss〉)提供强大的数据处理服务,操作响应更快,综合提升气象数据的服务体验。
图片4.png

数据显示,依托鲲鹏计算平台的多核高性能,结合有蓉自身领先的高性能內核,可让数据汇聚速度提升约30%,从而保障前端业务的实时响应。

第二,“云边端”的高效协同,数据分级同步提升效率。

在数据同步上,一是按特征同步,时效数据会被实时同步到云端汇总;二是按需求同步,对数据进行分类,只同步云端需要数据,其余数据本地留存;三是跨区域同步,没有及时同步到云端的数据,可以跨区域点对点端侧同步。按照架构的特点,端侧数据库热数据提供本地实时气象服务,全省数据分析汇总和精确预报则在云端完成。

“云边端”协同分工,是四川气象迈向智慧化气象服务的关键。

第三,IT基础设施的稳定,决定了气象服务的业务连续性与可靠性。

气象服务之于国计民生的重要性,也对数据库的可靠性提出了挑战。为此,有蓉数据库基于鲲鹏多核高NUMA-Aware能力,加上数据库內核的无锁化设计等一系列技术,在气象数据高并发、高频数据写入和查询的同时,即使系统资源占用近80%,仍能稳定提供服务。

此外,有蓉数据库还具有金融级的、多地多中心的容灾能力,在部分数据节点宕机后,其他数据库节点迅速接管业务,保证业务连续性,降低数据丢失风险。
图片5.png

最后,则是降低整套系统的部署和运维成本。

气象业务每天会产生数GB甚至TB的时序数据,给运维带来很大的困难。为了让气象这一“大国重器”更具经济效益和社会价值,“有蓉”数据库高度支持HTAP混合负载能力,可以一份数据输出两种业务模型结果,减轻高吞吐压力的同时,极大的节省了业务改造和运维成本。

数据库是IT行业的重要基础软件,越是基础,要翻越技术大山就越难,对产业生态的要求也更高。虚谷伟业公司秉承着“虚怀若谷,有容乃大”的理念,不仅仅自研出了自主可控的虚谷数据库,也完美的吸纳高性能高安全的openGauss内核,研制出具有巨大优势的有蓉数据库,在国产数据库在市场上突破技术壁垒、走向应用,并担负国家公共基础服务走向数字化、智慧化,更好服务社会的重任。

随着一道道“中国味”的基础软件加入数据经济的盛宴,深入变革气象服务等基础民生领域,改变着每一个人息息相关的日常生活,才让数字山河间飘荡出科技的人间烟火味。

纵然无法像诸葛孔明一般神机妙算,亦能借助数据的力量,洞察气象万千、风云变幻。

推荐阅读
关注数
6405
内容数
1564
写让你脑洞大开且能看懂的人工智能、流媒体、海外科技
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息