毫无疑问,随着云计算、大数据、人工智能、物联网等新技术在各行各业更加广泛的普及与应用,在催生越来越多数据量产生的同时,也让数据的管理和价值挖掘变得愈加复杂和困难。
可以看到,未来大量数据不仅来自数据中心内部,也分散在各种的边缘设备上;同时,数据不仅仅是完成存储就万事大吉,还要支持智能化的管理和分析;此外,数据还需要在本地数据中心与云之间,甚至是多个云之间自由流动,以确保数据始终随时可用,等等。这种前所未有的变化,意味着数据管理乃至整个数据基础设施迎来了一个关键的重构期。
正如华为Cloud BU副总裁、全球Marketing与销售服务总裁石冀琳,在6月18日举办的华为云TechWave全球技术峰会(人工智能&数据)上所言:“企业实现全面云化、全栈智能的三大关键是:第一,全面拥抱云原生,加速云上创新,打造企业数字化转型、智能升级的底座;第二,围绕数据全生命周期技术创新,激发数据潜能,让数据成为新的生产要素;第三,释放AI生产力,使能全业务、全流程创新,打造企业智能升级的核心能力。”
由此可见,数据作为核心生产要素,在企业构筑竞争优势的过程中起着至关重要的作用。为此,华为云在本次峰会上提出“DIGITS”设计理念,目标是围绕数据的全生命周期,构建云原生数据平台,实现数据的全域整合(Integration)、统一治理(Governance)和智能(Intelligence),让用户能够基于可信数据(Trustworthy)进行探索发现(Search & Discovery),驱动业务决策(Decision),激发数据潜能。基于DIGITS理念,华为云数据使能DAYU围绕数据的全生命周期提供一站式解决方案,实现从咨询到实施再到技术平台的端到端全生命周期数据管理。
大数据应用正进入“深水区”
我们知道,虽然各行各业都已经公认数据中隐藏着巨大价值,但在实现过程中,却又面临多重挑战,这是因为对数据的加工处理通常包括“采、存、算、管、用”全生命周期管理能力,才能让数据存得下、流得动、算得快、用得好。不过,由于过去缺乏有效的数据处理机制,这些大量的数据,分散于各处,难以联通,难以汇聚。因此,如何最大化释放大数据带来的红利价值,成为业界关注的重要话题。
首先,从平台层面看,挑战主要是数据的准备过程难。由于各种历史的原因,当下大部分行业和企业,往往数据没有实现整合和标准化,开发和利用更是无从谈起,而新的“数据孤岛”现象同样屡见不鲜。因此,未来数据处理平台应该在数据的采集、存储、计算以及应用服务、接口方面实现标准化;同时,随着大数据进一步与云计算的融合,逐渐形成了数据一体化情况,这也是过去几年智能数据湖、数仓一体等理念“应运而生”的关键原因。
其次,从数据层面看,挑战则是数据融合分析难。由于过去传统的“烟囱式”ICT建设也导致企业难以打通数据;同时目前数据种类多,如产生了大量的结构化/半结构化/非结构化数据;再加上数据分析链路长,也让多系统集成难度大。从这个角度来说,即使企业有了收集数据的能力,但对现有数据的优化和融合分析等方面,同样也需要较长的时间来沉淀。
最后,从应用层面看,挑战则是数据消费难。以某企业IT系统为例,其数据源130+万张表,要从海量表中寻找目标数据,大约就需要耗时30天左右,犹如“大海捞针”;然后再将目标数据加工成业务可使用数据,这个过程同样步骤多,错综复杂,又需要耗时很长的时间。因此,这就需要通过加持AI能力,通过更加智能化的方式把大数据所带来的效应发挥出来,实现更加精细化的管理和决策,从而有效提升质量、降低成本、优化服务。
不难看出,从平台到数据再到应用,这是一个很长的链条,这些链条上的难题也就成了大数据应用过程中所需要面对的“痛点”。换句话说,未来要发掘数据价值,不能仅仅只是基于单点技术创新,而是需要系统性架构和体系化的技术创新,由此才能为用户提供灵活管理和分析处理数据的同时,也能够把数据源源不断地转换为智能和洞察,最终为用户挖掘更多的大数据红利。
华为云智能数据湖持续创新
也正是洞察到这种变化,华为云FusionInsight智能数据湖提供湖仓一体的数据解决方案,帮助客户构建云原生数据湖,实现数据“采、存、算、管、用”全生命周期的管理。
对此,华为云架构与技术规划部部长朱海培表示,华为云FusionInsight智能数据湖提供湖仓一体的数据底座,基于云原生架构,通过底层OBS统一数据存储,全局一份数据无需搬迁;一个平台多引擎支持批处理、流处理、交互式查询等;元数据统一管理,全局一个视图,像管理代码一样管理数据。
而在本次峰会上,华为云还进一步宣布云原生数据湖统一数据平台MRS、云原生数据湖Serverless数据湖探索DLI、实时数仓GaussDB(DWS)、以及金融级分布式云原生数据库GaussDB(for openGauss)等数据新品正式规模商用,通过不断丰富自身的数据技术能力,为各行各业的企业提供全方位的数据服务,具体来看:
一是,云原生数据湖统一数据平台MRS,为客户提供湖仓一体的统一数据平台,让客户在一个架构下实现离线、实时、逻辑数据湖,释放海量数据价值,业务洞见更准。
二是,云原生数据湖Serverless数据湖探索DLI提供基于Serverless的融合处理分析服务,企业可轻松完成多数据源的联合计算分析,挖掘和探索数据价值。
三是,实时数仓GaussDB(DWS)提供即开即用、可扩展且完全托管的分析型数据仓库服务,支撑高并发高性能实时数据分析,能够满足互联网、物联网等场景用户实时推荐、实时风控、实时监测、精准营销等数据实时处理需求,提升企业竞争力。
四是,金融级分布式云原生数据库GaussDB(for openGauss),这是华为结合云原生与AI的技术打造的金融级分布式数据库产品,具备混合业务负载处理的高性能、高可用、弹性扩展、全密态、AI-Native自治五大关键能力,主打金融政企核心交易、企业生产系统等关键业务场景。
在朱海培看来,过去数据分析中有很多业界成熟的引擎,也有很好的工具和平台,但这些技术往往是独立自成体系的,在诞生之初仅仅只是为某一类特定场景设计的,但随着企业上云的加速,以及数据量的增大,用户面临的场景也更加多样化,这也是“湖仓一体”理念流行的重要关键。
但是,相比业界的其他“湖仓一体”产品,华为云更强调在混合场景下解决数据统一的难题。比如,云原生数据湖统一数据平台MRS,就可以通过一个架构逻辑、实时、离线三种数据湖;此外,实时数仓GaussDB(DWS)也能够提供PB级数据分析、多模分析和实时处理能力,可用于数据仓库、数据集市、实时分析、实时决策和混合负载等场景。
“展望未来,我们也希望能更好地帮助用户实现数据的融合,从本次MRS、DWS等新品中,大家可以看到这些产品基于统一存储、统一元数据、统一管理的技术特性已逐渐呈现出来,华为云接下来也将持续保持技术创新,让智能数据湖产品更好地赋能客户。”朱海培说。
由此可见,依托华为云FusionInsight智能数据湖打造出的数据布局全景图,华为云真正为各行各业挖掘数据价值,释放数据红利,完成创新与变革打造出了新一代数据技术架构的“底座”。
华为云创新与实践从未止步
在刚刚过去的2020年,“不确定性”成为企业和组织不得不关注的重要课题。不仅是突如其来的疫情对生产和生活方式带来的史无前例的冲击,更为关键的是,过去十多年来,众多的企业也在新旧商业形态的剧变、商业模式的颠覆以及各行业的重构中“踯躅前行”。
在此“新常态”下,企业唯有更加快速地洞察客户的需求并迅速调整自身的产品及服务模式,并通过深挖数据带来的红利价值,向“云原生企业”转型,才能更加从容地面对各种复杂形势下的挑战。而在此过程中,云平台和数据服务也贡献出了更多的价值。
例如,国网上海市电力公司副总工、互联网部主任唐跃中在本次峰会上表示,“我们以城市能源互联网为核心,基于华为云Stack技术方案构建能源生态圈,对全市工商业用户开展企业复工复产分析、构建智慧供应链;通过平台对接上海市一网通办、一网统管等政务服务,实现用电业务全过程线上办理;基于企业中台能力,开展云原生服务创新,以精准画像提升用户体验;同时,通过数据使能,在公司内部构建了智能多维精益管理体系。”
此外,在互联网领域,华为云DLI也在赋能新电商基础设施提供者——梦饷集团业务创新升级。例如,为帮助商家和店主搭建网络平台,梦饷集团通过华为云云原生数据湖全托管Serverless架构,实现业务应用敏捷开发,容器化与秒级扩容,解决了以往面临的创新业务落地慢、传统上云安装部署周期长、灵活性差的问题,助力梦饷集团快速开创多样化商业模式。
同时,为支撑梦饷集团的经营分析、精细化拓客、风控、创新业务洞察等应用场景,华为云云原生数据湖使用数据湖探索DLI+数据仓库DWS作为基础数据处理层支持离线、实时、交互式场景,并无缝对接上层AI引擎,实现智能推荐与搜索,释放数据价值,驱动梦饷集团全场景业务的数字化与智能化升级。
事实上,这些案例只是华为云FusionInsight智能数据湖为千行百业客户提供服务的“冰山一角”。数据显示,华为云FusionInsight智能数据湖已持续投入超过10年,携手800+家合作伙伴,服务于全球60+个国家和地区3000+政府、金融、运营商、互联网等客户。
《IDC MarketScape: 中国大数据管理平台厂商评估,2020》报告中,在华为云FusionInsight过硬的综合实力和技术创新加持下,华为云位居“领导者(Leaders)”象限,并在市场份额和技术实力两个维度双领先。
在这背后,正是华为云在数据领域“与时俱进”、积极响应用户需求、跟随新时代不断进化和迭代的具体体现。相信这种前瞻的理念和技术创新的能力,将推动更多的企业在未来数据驱动的新世界中产生更大的创新力、想象力和实践力。