墨天轮社区 · 2023年04月12日 · 湖北

十二载征程犹未止,看今朝星光尽闪耀丨万字长文回顾2023数据技术嘉年华

4月8日下午,为期两天的第十二届数据技术嘉年华(DTC 2023)在北京新云南皇冠假日酒店圆满落下帷幕。大会得到了工业和信息化部电子五所的支持和指导,围绕“开源·融合·数字化——引领数据技术发展,释放数据要素价值”这一主题,通过一场主论坛和十二场专题论坛,汇聚“产学研”各界数据技术领军人物学术精英技术专家行业用户,从多角度、多维度带来68场主题演讲。群贤毕至、俊采星驰,从技术发展到方案构建、从用户需求到行业实践,饱含技术干货和真知灼见的嘉年华大会吸引了上千人到场参与,上万人观看线上直播。

— 致辞 —

建立历史视角洞悉过去,锤炼远见目光着眼未来”——中国DBA联盟理事长、墨天轮社区发起者、云和恩墨创始人兼总经理盖国强在主论坛的欢迎致辞中,以数据库领域的两位图灵奖获得者 Jim Gray 和 Michael Stonebraker 在SIGMOD 2002上对产业界、学术界的批判发言引出这样一个探索发展方向的思维主旨。墨天轮社区打造了DTC这一会议品牌,为学术界的领袖、工业界的前辈、产业界的掌门人构建了一个交流的平台,他们探索着不同的技术方向,沿着不同的技术路线砥砺前行。“我们的目标如此一致,那就是为了中国数据库的产业崛起而贡献力量。”盖国强谈到。

致辞中,盖国强还对“开源·融合·数智化——引领数据技术发展,释放数据要素价值”这一主题的选定进行了解读:第一,开源正在成为中国数据库产业发展的新潮流,凝聚广大研发人员的智慧能够加速推动数据技术的发展;第二,简化作为用户的基本诉求,正在推动数据库从功能分离到一体化的融合发展;第三,数智化作为数据库技术发展的高级需求,AI和数据融合探索数据,为数据库的发展拓展了新的方向。这三个关键词囊括了数据技术在过去一年里呈现的变化和发展方向。盖国强在最后表示,“引领数据技术发展,释放数据要素价值,我们相信每一分努力都是推动中国数据库技术进步的重要力量。

☞大会PPT下载合辑:https://www.modb.pro/topic/622616(可公开内容陆续上传中... ...)

— 主论坛 —

大会邀请到工业和信息化部电子五所信创负责人李冬在主会场发表演讲。数据库作为我们的IT行业里最重要的核心的产品之一,它近年来正发生着重大的变化、巨大的变革。这场变革主要体现在三个方面:全球的数据库产业变革市场格局重组、基于开源数据库市占率超过闭源数据库市占率、行业数据选择更加多样化。现如今国产数据库品类丰富,根社区和根生态已初步形成。他在演讲中指出,未来可以数据库的发展可以从探索更加多元化发展路径、鼓励企业创新在细分赛道上做差异化的竞争、丰富国产数据库应用场景、构建繁荣的开源的生态四个角度发力。在演讲的最后李冬表示:“我相信中国数据库产业在大家的齐心协力下,一定会迎来我们的发展高光时刻。”

随后,CCF数据库专委会副主任,openGauss社区技术委员会主席,清华大学计算机系副主任、长聘教授李国良发表了题为 《openGauss:聚焦数据库内核创新,共建开源数据库根社区》 的演讲。他表示 openGauss 一直践行三个使命:核心技术的创新和探索,一直走在核心技术的突破上;建立国产数据库的根生态和根社区,和合作伙伴一起构筑中国数据库;有引领性和创造性的思路,不是简单跟随其他数据库发展一些原有的技术。因此随着数据技术的发展和应用需求的变化,openGauss一直在高性能、高可用、高智能、高安全这四个方面做持续的创新和探索,李国良对“四高”背后的核心技术进行了详细解读。在演讲的最后他呼吁:“希望‘产学研用’各界能够齐心协力,一起共建、共享、共治构建国产数据库根社区。”

阿里巴巴集团副总裁,阿里云数据库产品事业部负责人,ACM、CCF、IEEE会士(Fellow)李飞飞在大会主论坛发表了题为 《阿里云瑶池数据库:数据业务持续在线,数据价值不断放大》 的演讲。阿里云数据库率先提出了主导未来数据库发展的核心“四化”趋势:云原生化、平台化、一体化和智能化。他说“围绕这四化趋势,未来的数据库可能就像今天拼乐高一样,每一个组件会从架构角度进行解耦、存储、内存、计算,在计算层面我们会有多种类型的不同的计算节点,有TP、AP、AI,可以像拼乐高一样按照应用的需求将它快速的组合起来,组成出来一个最满足客户需求、应用场景的数据库,这就是我认为云原生数据库的终极目标。”两周前,阿里巴巴瑶池数据库品牌正式发布,他说“我们从户视角出发,定义了阿里巴巴瑶池数据库的核心价值:一是数据业务持续在线;二是数据价值不断放大。”围绕着两点核心价值,李飞飞深入剖析了全线产品的技术细节。

华为云数据库服务产品部副总经理庄乾锋《自主创新,北坡攀登,GaussDB给世界一个更优选择》 为主题在主论坛发表演讲。他在演讲中指出,分布式和云将主导数据库市场的未来,因此,华为在GaussDB分布式数据库和华为云云原生数据库这两大产品线持续布局,加强自主创新,构建强大的技术能力,并逐步实现商业落地,完善生态建设。在演讲的最后他说道:“分布式是自主创新数据库的未来,云原生是数字化的未来。华为的GaussDB将持续注入更多领先的技术和创新,做企业核心应用的智能数据底座,和大家一起来共创国产数据库的新未来,给世界一个更优的选择。”

腾讯云数据库总经理王义成带来 《腾讯云TDSQL助力金融政企核心系统国产化》 主题演讲。他首先介绍到腾讯云TDSQL经历了服务于腾讯云内部业务的第一个阶段;第二阶段是TDSQL  Inside使数据库集成到包含能源、金融、政务的产业互联网;深入攻坚金融行业核心的第三阶段;现如今TDSQL 即将进入第四阶段,在行业内进行规模化复制。王义成表示,要做好第四阶段,首先要做好产品层面平滑的替换,为提供一站式国产数据库解决方案,接下来腾讯云数据库将围绕实现核心系统替换、提升超融合HTAP能力、提供SaaS一体化一站式解决方案这三点作为产品技术的攻坚点。

OceanBase创始人兼首席科学家阳振坤围绕 《关系数据库发展趋势的思考》 进行主题分享,阐述了他在构建OceanBase数据库技术能力方面的一些思考。数据库能力的构建都是出于满足市场和用户的需求,如数据系统伸缩的敏捷性、交易处理或实时分析能力、海量数据下的成本问题,根据这些需求来逐步思考,OceanBase构建了单机分布式的一体化、交易、分析的一体化处理等能力,以及如今在做的云服务,公有云、私有云、混合云等。他表示:“未来云的发展一定是公有云+私有云的混合云服务。也许有很多业务还用纯粹的公有云,极少业务用纯粹的私有云,但更多企业可能会使用公有云和私有云的混合。”

云和恩墨·本原数据技术合伙人张程伟金毅围绕 《回归数据本原,企业级数据库的技术探究》 这一主题展开联合分享。张程伟表示,目前云和恩墨与本原数据打造了两款数据库:第一款是企业级数据库MogDB,在发布的两年多时间里,围绕“安稳易用”四个字,持续构建高性能、高可用、高安全、高智能的“四高”能力,面向高并发、低时延的交易型应用场景有着极大优势。第二款是针对工业物联网中海量数据管理场景打造的超融合时序数据库Uqbar。这两款产品都是以openGauss开源内核来打造的,对于选择openGauss的理由他说道,“我们认为openGauss社区是一个能够长期持续演进的国产数据库的根社区,能够促使社区合作伙伴积极的参与到社区的共建、共享、共治,集百家之长持续构建产品的卓越能力。”同时,张程伟也做了产品发布的预告,在今年的6月30日,MogDB将发布第三个LTS版本——MogDB 5.0,而Uqbar也将发布第一个LTS商业版本。

随后,金毅博士围绕数据库技术创新的驱动要素展开分析,并进一步提炼和定义了下一代10xHTAP原生数据库的架构:硬件革新(众核、多级CPU cache、大容量内存、NVMe SSD)驱动软件算法与架构革新,以一个数量级提升资源利用率;云化资源催生云原生架构满足弹性负载;实时分析推动编译执行、向量化、SIMD加速融合。

清华大学交叉信息研究院(姚班)助理教授张焕晨最后从学术界的视角带来 《迈向成本智能的云数据仓库未来》 主题演讲。他指出,区分传统数据库架构和云原生数据库架构最关键的点是成本,当前云原生数据库的基础架构已经成型,那么下一代的增强版云原生数据库就应该实现智能的成本控制。他用空调来作比喻,当空调发明出来后,下一步应该竞争的就是在同样制冷的条件下谁更省电,谁实现了这一点,谁的市场占有率就会更好。张焕晨总结道:“云原生数据库需要能够时刻在性能和成本之间进行核算,满足客户要求,数据库应该通过它的智能能力帮助用户承担成本控制的负担,这也是数据库易用性可以提高的地方。”

— 专题论坛 —

01「引领发展:中国数据库创新」专题论坛

数据库发展历经半个世纪,现如今,百花齐放的中国数据库已逐渐形成成熟的体系结构和产品能力。近年来中国数据库在需求驱动和政策带动下更加注重自主创新。在 「引领发展:中国数据库创新」 专题论坛,五位技术专家作为百家争鸣的中国数据库厂商代表,在不同细分方向上展现了各自的技术突破和创新引领。

人大金仓高级副总裁冷建全带来了题为 《与应用一起,打造更稳、更快、更丰富、更智能的数据库产品》 的主题演讲,对人大金仓的全链路产品体系和强大能力做了详细解读,并表示未来将向多模数据统一处理、多语法体系统一兼容、多场景统一处理(HTAP)等方向演进。

PingCAP副总裁刘松带来了题为 《以自主开源和开放架构构建新一代HTAP数据库》 的主题演讲。在演讲中,他以云计算和开源数据库从业界者的视角分享了对全球数据库的产业趋势洞察,解读数据赛道和行业机会和沟壑,并讲解了TiDB过去两年在HTAP、云原生、Serverless化的技术演进和全球市场的拓展模式,为大家提供了国产数据创新路径的一些思考。

南大通用GBase8s 产品经理郭茁带来了题为 《基于数据复制技术的多写多读数据库集群解决方案》 的主题演讲,深入讲解了南大通用GBase8s产品线最新推出的多活多写的数据库集群技术。在演讲中她介绍道:“在该集群方案中,所有的数据库节点都是可读可写的,数据库的整体性能会得到线性增长;并且在故障发生的时候,故障切换时间可以控制在3秒以内,对客户端应用几乎无感知。”在此技术方案中,数据库的数据会充分得到冗余和多副本。通过基于业务逻辑的表拆分技术使得服务器的硬件性能得到充分利用。

GoldenDB数据库高级架构师周日明带来了题为 《打造核心引擎 筑路数字经济:金篆信科GoldenDB 7.0新特性详解》 的主题演讲。金篆信科推出的GoldenDB 7.0版本基于自研内核打造了HTAP、云原生技术商业应用特性,提升核心应用海量数据分析处理能力,与云技术融合,实现弹性、可靠、高效的云原生应用,周日明对7.0版本的新特性以及关键技术进行解读,阐述了新技术在实践应用中前景。

矩阵起源解决方案VP于涛带来了题为 《从零开始打造新一代开源HSTAP数据库》 的主题演讲。MatrixOne是矩阵起源从零开始打造的新一代超融合异构数据库,于涛在演讲中为我们分享了MatrixOne在研发过程中遇到和解决的挑战,以及在存储、计算、分布式架构分别做了哪些创新。

02「融合引领:云原生与新技术」专题论坛

云计算的普及和软硬件技术的飞速发展,催生了数据库产业的创新。为了满足纷繁复杂的业务需求,解决独特场景下的性能瓶颈和功能实现,种种基于云原生、AI、机器学习和数据科学的新技术、新产品层出不穷。在 「融合引领:云原生与新技术」 专题论坛,演讲嘉宾解读了新兴数据库的能力和相关数据技术的实现原理。

阿里云数据库事业部PolarDB for MySQL负责人杨辛军带来了题为 《将云原生进行到底:PolarDB的实践和创新》 的主题演讲,在演讲中他介绍到PolarDB 是如何坚持软硬一体化,通过资源池化和数据无缝高效的流动打造的一个高效的企业级云原生数据库,并对PolarDB 的众多特性做了详细解读。

KaiwuDB CTO魏可伟带来了题为 《构建物联网时代“快人一步”的AloT数据库》 的主题演讲,他以当下物联网时代时序数据库面临的挑战讲起,剖析了KaiwuDB 1.0的核心技术、数据库架构、功能及特性分析等内容,为大家勾勒了一个构建物联网时代时序数据库的实践之路。

玖章算术创始人&CEO叶正盛带来了题为 《NineData,AIGC时代的企业级SQL开发平台》 的主题演讲。NineData是玖章算术推出的多云数据管理SaaS服务,能够提供云原生的智能SQL开发服务。叶正盛重点分享了NineData在AIGC的应用实践,为大家揭晓带这款新一代企业级SQL开发平台,如何让程序员和DBA工作更高效、更安全、更和谐。

云和恩墨数据库一体机产品总经理刘宇带来了题为 《面向多样化数据库的数据底座--数据库存储2.0》 的主题演讲。如果把过去集中式数据库标配集中式存储这样的单一形态组合称为数据库存储1.0,数据库存储2.0的主要特征就是多样化。那么如何构建面向多样化数据库,包括集中式数据库、分布式数据库、云数据库的数据底座呢?”在演讲中他介绍道:“云和恩墨zData X产品就是一款面向多元数据库的高效运行平台,通过硬件加持,能够大幅提升数据库性能。”

极数云舟创始人&CEO周彦伟带来了题为 《从Database到Data Fabric,数据领域技术发展历程及创新产品实践》 的主题演讲,Data Fabric是一种数据架构思想(而非一组特定的工具),其通过提供一种统一的方法来管理异构数据,其核心能够通过允许将可信数据从所有相关数据源、以灵活且业务可理解的方式交付给所有相关数据消费者,从而提供比传统数据管理更多的价值。“云舟数据经纬平台DTArk,就是对Data Fabric理论的落地与实践,结合了自主可控的内核层多维数据融合技术,打通了不同技术栈软件之间的数据逻辑壁垒。”他说。

03「数智趋势:智能运维与自治」专题论坛

近几年人工智能技术已逐渐发展成熟,并逐步渗入到各行各业,智能能力被越来越多地应用到数据库内核和运维管理产品中,从而为用户提供更加稳定、高效、智能的数据库环境。「数智趋势:智能运维与自治」 专题论坛,为大家分享了数据库自治以及运维能力从传统走向自动化和智能化的变革演进和技术创新。

openGauss数据库AI领域负责人李士福带来了题为 《openGauss:自驾驶数据库内核》 的主题演讲。随着智能化发展,数据库作为系统软件皇冠上的明珠,与AI技术结合拓展出新的前沿方向。openGauss数据库作为面向企业级核心应用的开源数据库,李士福为我们分享了构建自驾驶内核的“AI4DB自治系统”和“DB4AI库内AI引擎”,并结合应用案例深入讲解了openGauss自治运维平台DBMind的整体架构和卓越能力,以及库内AI引擎架构的技术实现。

云和恩墨数据库云管平台产品总经理巩飞带来了题为 《构建自治智能的数据库云管平台,加速国产数据库应用进程》 的主题演讲。国产数据库百花齐放,但运维生态不足仍是制约国产数据库深入发展的重要因素。他介绍道:“云和恩墨数据库云管平台zCloud是基于WaaS(Wisdom as a Service, 运维经验即服务)框架打造的智能化多元数据库管理平台,能够普遍提升国产数据库运维管理水平,加速国产数据库应用进程。”随后他对WaaS理论在zCloud中的技术实现和应用场景的落地都做了详细讲解。

南京基石数据CTO徐戟(白鳝)带来了题为 《知识图谱与异常检测助力数据库可观测性》 的主题演讲。数据库可观测性能力对数据库运维十分关键,利用知识图谱与异常检测可以更好的解读数据库的运行状态,发现系统存在的问题,并辅助DBA定位问题原因。在本次演讲中白鳝利用近年来在数据库预警与诊断智能化方面的实践,为大家分享了一种构建数据库智能运维能力的新方案。

优维科技高级技术专家刘力鹏带来了题为 《云原生时代智能运维与可观测性的探索》 的主题演讲。他为观众们介绍了优维智能运维监控平台,这款产品结合了大数据、人工智能和机器学习对范围广泛的IT运营流程和任务做了功能增强和部分替代,能够集中管理IT运维监控的事件及告警,并结合了DevOps理念增强运维自动化能力。整个智能运维监控平台包括业务系统可用性和性能监控,事件关联分析、IT服务管理和自动化。

柏睿数据数据科学家阿尔曼带来了题为 《库内人工智能变革:新挑战,新机遇》 的主题演讲。如今,库内人工智能技术的发展已是大势所趋,尤其是在运维领域显得尤为重要。他带来了柏睿数据库全内存分布式数据库RapidsDB和数据库监控管理平台RapidsDB Manager,并对其在自动化运维和智能化运维的探索与实践做了深入讲解。

04「信创应用:数据库迁移实践」专题论坛

在国际形势、政策引导、业务需求等大环境的带动下,基础软件的自主可控成为国内企业关注的重点,尤其是金融、政务等0差错容忍度的关键行业,均纷纷开展IT系统架构优化替代。那么对于数据库的替代升级,往往需要经过技术选型、能力评估、兼容测试、迁移测试等环节,以确保迁移过程数据无差错,迁移后系统安稳运行。在 「信创应用:数据库迁移实践」 专题论坛,一些典型行业用户对数据库迁移优秀案例展开了探讨。

民生银行数据库专家朱彬带来了题为 《民生银行信创工具体系建设》 的主题演讲。信创产业作为国家“十四五”发展目标的重要抓手,以信息技术产业为根基,通过科技创新,构建国内信息技术产业生态体系。民生银行积极响应国家号召,大力推进信创产品的技术落地,围绕整体改造工作的痛点、难点自主研发了一套信创工具体系。朱彬对信创工具体系的建设,以及未来的规划和发展方向做了深入讲解。

数据库资深专家韩锋带来了题为 《走好信创迁移最后一公里》 的主题演讲。随着近些年内外部形式剧变及企业自身发展诉求,国内企业愈发重视基础软件的自主可控。然而在整体改造中,蕴含了较多工作重点、难点以及风险。韩锋在演讲中,从信创改造角度出发,重点谈在改造中往往处于最后改造的数据库部分,即所谓信创改造“最后一公里”所面临的痛点问题及可能解决思路。

星环科技资深产品市场经理李昆带来了题为 《星环科技国产化替代实践》 的主题演讲。星环科技经过多年自主研发,打造了一系列国产化大数据基础软件产品,在本次演讲中,李昆结合真实案例,对兼容Oracle和MySQL的金融级分布式交易型数据库KunDB、分布式分析型数据库ArgoDB、万亿级图数据库StellarDB在国产化替代中的实践做了深入讲解。

虚谷伟业产品总监明玉琢带来了题为 《关基领域高价值基础数据应用国产替换与升级》 的主题演讲。“十四五”确定了以“卫生、交通、气象”为主的等高价值数据集行业。这些行业的业务压力大,数据规模大,系统开发早。在此类行业进行信创改造需要考虑的不仅仅是“现在”的“对等替换”,更要考虑“未来”的“数据价值升级”。虚谷伟业在气象行业耕耘8年,具有较强的信创替换改造升级的理论与实践经验,本次演讲,明玉琢对行业痛点、难点进行了分析拆解,并对虚谷伟业的全栈国产化解决方案进行分享。

科蓝软件资深大数据领域实战专家张俊喜带来了题为 《迁移之路:从国产封装到中国自主品牌》 的主题演讲。他从中国传统文化角度浅析国产数据库行业现状及未来发展之路:在术的层面思考国产数据库替换项目系统迁移;在法的层面思考国产数据库如何掌握核心技术;在道的层面思考国产数据库未来出路。他说道:“我们应从源头和底层技术抓起,依托新型举国体制助力国产数据库产业升级,发展中国自主品牌数据库。”

05「开源创新:开源数据技术」专题论坛

当今数据库和数据技术仍处于不断变革演进的高速发展期,新的应用场景层出不穷、新的技术和产品不断涌现。如何在滚滚向前的技术河流中保持自身优势、推动产品持续创新?这个答案无疑是“开源”,这种通过社区协作充分调动广大开发者的创新性和创造力的方式助力数据技术发展驶上快车道。「开源创新:开源数据技术」专题论坛,为大家展现了开源数据库的技术创新和能力构建。

万里数据库CTO娄帅带来了题为 《GreatSQL开源社区——做中国广受欢迎的开源数据库》 的主题演讲。GreatSQL社区是万里数据库主导发起的MySQL开源数据库社区。成立于2021年,通过开放的社区合作,构建国内自主MySQL版本及开源数据库技术,推动中国开源数据库及应用生态繁荣发展。吸引更好开源爱好者加入,共建国内MySQL技术路线的蓬勃生态。娄帅在演讲中介绍了GreatSQL社区情况,并对GreatSQL优势特性以及未来发展展望做了讲解。

openGauss数据库首席架构师黄凯耀带来了题为 openGauss架构创新与新特性深度解读》 的主题演讲。2023年3月30日,openGauss 5.0.0版本正式对外发布,在与之前版本特性功能保持兼容的基础上,在内核能力、资源池化、工具链、兼容性等方面全面增强。黄凯耀在本次演讲中围绕关键行业核心客户场景为大家分享openGauss 5.0.0版本的多项架构创新,并对新增特性进行深度解读。

SphereEx创始人兼CEO张亮带来了题为 《面向新一代数据架构的数据库增强引擎》 的主题演讲。当前企业数字化场景激增,数据量持续跃升,这便推动了底层数据技术栈逐步形成多源异构生态,张亮在演讲中从新一代数据库架构增强引擎的设计理念入手,讲解了Apache ShardingSphere这一开源数据产品的技术特点和应用场景,深入探讨新一代数据架构的发展方向。

钛铂数据创始人唐建法带来了题为 《开源+实时+数据即服务架构: 遇见前所未有的Tapdata Live Data Platform》 的主题演讲,结合应用案例为大家分享Tapdata Live Data Platform产品。该产品实现了一个Data as a Service的架构,通过Tapdata自带的对数十种数据源自动实时接入中央化数仓的能力,无需复杂的对接,就可以给到用户一个数据就像打开水龙头那样简单使用的效果。

磐吉云数CEO冯若航带来了题为 《更好的开源RDS PG替代:Pigsty》 的主题演讲。Pigsty v2为世界上广泛应用的开源数据库PostgreSQL带来开箱即用的监控、高可用、PITR、IaC最佳实践。冯若航介绍到,即使是在缺乏数据库专家的情况下,Pigsty也能用接近硬件的成本运行企业级数据库服务,相比RDS更能节省50%~90%的“无专家税”。

06「融合应用:湖仓技术创新」专题论坛

随着数据的爆炸式增长,挖掘和探索数据的价值成为企业可持续优质发展的关注重点,数据湖和数据仓库技术就此诞生,并相互融合应对更多场景。它们能够对数据进行有效管理与集中治理,并分析数据之间的关系,为用户的重要决策提供切实数据支持。在「融合应用:湖仓技术创新」专题论坛,五位演讲嘉宾带大家深入了解了湖仓技术的创新与应用。

南大通用数据智能产品经营部总经理张绍勇带来了题为 《GBase GCDW云上实时逻辑数仓,支持湖仓一体》 的主题演讲。他介绍道,GBase GCDW云上实时逻辑数仓融入了包括机器学习在内的智能计算,以及关系计算与非关系型计算之间的融合计算能力,具有云化、分布式、智能、融合、实时、安全等特性,能够支持分析域私有云和公有云对接的DaaS服务部署和开放能力,提供云上湖仓一体的能力。

Datafuse Labs 联合创始人张雁飞带来了题为 《Databend: 基于对象存储构建实时云原生数仓》 的主题演讲。张雁飞通过分析 ClickHouse、Snowflake 等数仓产品技术架构,分析当前大数据面临的新问题,引出了当下为什么需要一个新式云数仓。Databend便是为应对这些问题而设计的新一代云原生数仓,张雁飞就此详细解读了该产品的架构和技术实现。

HashData资深解决方案架构师李俊带来了题为 《基于HashData的湖仓一体解决方案的探索与实践》 的主题演讲。李俊介绍了湖仓概念的历史与演进,分析湖仓建设实际案例中的经验与教训,并表示基于此种情况,HashData对湖仓技术有了深入思考与创新,进而详细讲述了HashData的湖仓技术创新和一体解决方案实践。

StarRocks Committer杨文波带来了题为 《StarRocks:湖仓融合的新范式》 的主题演讲。过去一年里,StarRocks开始发展数据湖分析。StarRocks通过CBO优化技术,向量化执行引擎和Pipeline执行引擎等技术,成功让数据湖分析的性能达到Presto/Trino和Impala等传统数据湖分析引擎的3-5倍。杨文波表示,在接下来的时间里,StarRocks会通过细粒度数据缓存技术进一步突破 IO 的瓶颈,进一步加强物化视图的能力,简化用户加工数据的难度,同时通过预计算的方法进一步提升数据分析的性能,使湖仓融合真正进入新的阶段。创造湖仓融合新范式。

亚马逊云科技数据分析高级产品经理Jason Li带来了题为 《智能湖仓2.0:构建数据一体化融合分析》 的主题演讲。“智能湖仓”架构是亚马逊云科技基于自身海量客户实践,总结并发布的云上数据分析最佳架构选择,是一种可交付的架构思想,如今已完成了“2.0”进化。Jason Li在演讲中阐述了如何借助云原生数据服务搭建“智能湖仓”架构,并介绍了Serverless是如何提升数据分析敏捷性、如何融合大数据与人工智能,以及云上数据安全与治理,打造云原生数据一体化融合分析最佳实践。

07「数据价值:NoSQL数据库」专题论坛

为了应对大规模数据集合和多种数据类型带来的挑战,自20世纪60年代以来,NoSQL数据库就以多种类型出现在人们的视野中,切实解决了企业在大数据环境中海量、多源和多格式的数据处理问题。「数据价值:NoSQL数据库」 专题论坛,带大家走进NoSQL,剖析数据价值背后的技术实现与应用实践。

华为云NoSQL数据库架构师胡亚凡带来了题为 《华为云多模数据库GaussDB NoSQL的架构演进和应用实践》 的主题演讲。华为云自主设计研发高性能云原生多模NoSQL数据库产品是以存算分离架构为基础,能够快速孵化出文档数据库、宽表数据库、KV数据库和时序数据库,全面兼容MongoDB、Cassandra、InfluxDB、Redis等多生态模型与接口。胡亚凡在演讲中伟大家分享了GaussDB NoSQL多模数据库的架构演进与华为的落地实践,与大家共同探讨未来多模数据库的发展方向。

阿里云内存数据库Tair研发负责人朱国云带来了题为 《阿里云内存数据库Tair的演进与实践》 的主题演讲。Tair最初诞生于阿里内部,从缓存走到持久化,并提供丰富的数据结构来满足各类在线业务需求,是支撑阿里内部实时场景的核心系统之一,承担了双十一超大的访问流量。目前该产品已在阿里云上正式推出。朱国云在本次演讲中为大家详细解读了Tair的关键特性和落地实践。

创邻科技联合创始人&CTO周研带来了题为 《Galaxybase原生分布式图数据库架构与应用》 的主题演讲。随着云计算,大数据物联网等信息技术的发展,数据量级指数级增长,企业在复杂业务场景下,对于大规模图数据高效存储、查询和实时计算产生了迫切的需求,推动图数据库向着大规模、低延时、高扩展的方向发展,并融合图计算引擎的能力支撑实时决策。周研分享了Galaxybase这一国产原生高性能图平台的新一代存储计算框架,并解读是如何融合OLTP和OLAP能力,形成HTAP混合型图平台,实现存储计算一体化的能力。

腾讯云数据库专家工程师伍旭飞带来了题为 《数据库内核演进,keewidb软硬一体化探索》 的主题演讲。他表示,传统数据库引擎历史悠久,出发点都是基于对HDD的优化,但是最近10年存储设备发展非常快,NVMe SSD已经成为企业级存储的标配,在当前背景下,如何和新硬件更好的适配是存储引擎亟需解决的问题。因此,他为与会观众介绍了腾讯云自研键值数据库keewidb的技术架构和卓越能力,以及在软件层面keewidb的多线程、异步IO、协程的无锁架构的优势。

Ultipa CEO孙宇熙带来了题为 《嬴图分布式存算一体化图数据库创新与应用》 的主题演讲。他在分享中说到:“‘事后诸葛式’的分析已远远不能满足快速的市场需求和业务变化”,因此嬴图在深耕图技术领域的行践过程中,通过打破并融合了过去OLTP和OLAP两大典型应用场景的界限,以存算一体化HTAP分布式共识架构结合水平分布式框架,实现海量数据的实时化、深度图处理和分析计算能力。在面对处理数据量大、并发量高、分析逻辑复杂的复杂业务场景时有着卓越优势。

08「金融科技:金融行业实践」专题论坛

金融行业因其独特的社会功能,对数据库的能力要求向来最为严苛,并且随着互联网的飞速发展,金融行业的新兴场景也不断涌现,对数据库的稳定性、一致性、安全性和运行效率的要求进一步提升。「金融科技:金融行业实践」 专题论坛,为大家分享数据库和数据技术在金融领域复杂且高标准要求下的应用创新与最佳实践。

民生银行资深数据库专家孔再华带来了题为 《openGauss在民生银行的应用实践》 的主题演讲。早在openGauss刚刚发布的时候,民生银行就作为创始成员加入了openGauss社区,并在经过充分的了解和大量的测试后,选择使用openGauss作为核心系统的替换产品。在两年多的合作过程中,openGauss的创新特性不断在民生银行落地,并带来卓越的性能提升。本次大会,孔再华为大家详细解读了民生银行在核心数据库系统替换为openGauss的过程中所做的工作及落地成果。

中信建投证券技术专家刘晨带来了题为 《金融行业数据库应用优化探索与实践》 的主题演讲。他表示:“80%的数据库问题是由数据库应用引起的,如数据库对象设计、SQL语句等,而这其中80%的问题又来自于20%的数据库应用设计或SQL语句等,一条‘简单’的SQL语句或者一个不当的设计就可以轻易地搞垮整个数据库,从而造成一次严重的业务故障。”解决这20%的问题,就能对开发人员的能力提升、系统的稳定运行起到事半功倍的效果。刘晨通过他在技术管理过程中的探索和实践案例来拆解解读当前存在的问题和痛点,并对提升数据库设计开发能力提出了建设性意见。

华夏银行数据库专家王辉带来了题为 《华夏银行国产数据库实践之路》 的主题演讲。金融行业在国产化改造过程中往往会面临适配成本过高、运维与备份复杂度提升、生态建设不足、数据迁移难度大、兼容适配性差、安全能力不可控等问题,华夏银行也不例外。因此华夏银行从2017年就开始做市场调研,为国产化改造之路做准备。本次演讲,王辉分享了华夏银行在数据库选型、迁移测试、部署投产等过程中做的工作,为大家提供了金融行业国产化替代的思路。

光大银行业务经理周明媛带来了题为 《光大银行国产化数据仓库落地实践》 的主题演讲。中国光大银行以金融科技创新为支撑,深化金融科技赋能,不断提升数据资产管理能力。自2019年启动数据仓库国产化升级改造,历时三年实现核心数据仓库迁移,完成架构模型优化,成为国内首家数据仓库国产化落地实践的股份制商业银行。本次演讲周明媛带大家回顾了光大银行数据仓库的国产化之路,介绍了数据仓库平台体系架构、建设成果、转型实践问题、解决方案以及未来的发展方向。

09「开源自研:分布式数据库」专题论坛

随着互联网业务的快速发展,数据库面临大规模、高并发、实时响应等方面的挑战,但传统数据库架构在这些方面明显力不从心,高昂的建设和维护成本也给企业带来了巨大的负担。分布式数据库的数据复制、数据分区、分布式事务处理等核心技术能够有效解决超大规模数据承载问题。近些年中国分布式数据库得到了很好的发展,在「开源自研:分布式数据库」 专题论坛中,嘉宾们对分布式数据库技术进行详解,并结合实际应用案例,带大家深入领略分布式数据库的魅力。

OceanBase高级技术专家易鸿伟带来了题为 《OceanBase Cloud 4.0技术核心能力解读》 的主题演讲。OceanBase Cloud 4.0是构建在阿里云、AWS等全球主流公有云基础设施上,基于完全自主研发的原生分布式数据库,提供弹性扩展、高性能、主流兼容的高性价比的数据库云服务。易鸿伟在本次分享中深入解读了OceanBase Cloud的高性价比、高弹性、HTAP、跨境架构统一等核心能力,以及在云上OceanBase Cloud如何提供更优的端到端数据库服务化解决方案。

华为数据库技术专家刘梦醒带来了题为 《GaussDB分布式数据库核心技术及华为流程IT ERP最佳实践》 的主题演讲。他介绍道,GaussDB的性能、高可靠、安全等方面已全面超越国外主流数据库产品。本次演讲刘梦醒对分布式数据库GaussDB的关键技术和助力流程IT ERP业务的成功实践与经验总结进行了深入解读。

天翼云公司数据库技术专家陈炜带来了题为 《TeleDB分布式数据库核心技术及电信核心IT系统国产化最佳实践》 的主题演讲。中国电信基于云改数转实现自身IT变革和转型,沉淀了大量国产化技术和丰富的实践经验,通过数据库团队多年的研发迭代,演变出基于云底座的分布式数据库TeleDB,并在中国电信内部IT推广实现核心系统100%部署和验证,目前通过公有云、私有云等多种方式对外赋能。陈炜在演讲中分享了TeleDB的架构、核心能力、应用场景。

涛思数据联合创始人廖浩均带来了题为 《将流式计算引入时序数据库,TDengine 3.0的分布式架构实践》 的主题演讲。TDengine 是一款分布式、云原生的时序数据库。在3.0版本中引入了流式计算,能够实时聚合、变换、过滤、分流多个数据节点上数据,并通过分布式快照实现有状态流的容错。本次演讲,廖浩均通过技术细节,介绍了TDengine 3.0中引入的以事件时间为基准的实时流式计算,分享其新的分布式架构,解读了实时性、有状态增量计算、乱序容忍这几大特性的实现过程。

NebulaGraph产品经理韩笑带来了题为 《分布式图数据库的系统架构演进》 的主题演讲。在海量数据时代,从数据中复杂、深度关联关系出发的图技术因为带来了传统数据处理方法未曾关注的关系维度、图特征维度、局部性维度,突破性的提升了很多传统在线、离线业务场景的处理性能和效果。韩笑在本次演讲中为大家详细介绍了图数据库NebulaGraph的设计、演进,解密这个流行分布式图数据库中的实践与探索。

10「融合创新:HTAP数据库技术」专题论坛

当前大型实时分析应用已经普遍进入我们的生活,这背后蕴藏着的是海量数据的实时处理和分析,业务需要实时根据TP的落地数据进行C端快速反馈,然而传统架构通过ETL连接OLTP和OLAP数据库,其过高的延迟已难以满足业务快速多变的诉求,因此HTAP数据库的出现便成了众望所归。近年来,国内各大数据库厂商纷纷开始向HTAP进军。「融合创新:HTAP数据库技术」 专题论坛为大家深入剖析 HTAP 数据库技术的实现原理与创新应用。

腾讯云数据库研发总监王云龙带来了题为 《HTAP:腾讯云数据库TDSQL的思考与实践》 的主题演讲。TDSQL在推动国产化数据库发展的过程中,逐步形成商业数据库兼容、HTAP、多环境适配的产品能力,在满足数据库产品功能需求的同时,同样注重性能的提升。本次分享,王云龙讲述了TDSQL PG产品的技术架构、产品能力、应用场景以及落地实践。

亚信安慧科技副总裁张桦带来了题为 《通信行业核心系统数据库的应用与创新》 的主题演讲。他在演讲中介绍了AntDB如何构建一站式的HTAP解决方案,在核心交易与大数据分析的混合场景下,提供应用透明的的数据库服务;通过多类型数据库特性的充分融合,协助行业用户实现统一架构下的HTAP混合负载。此外,张桦还预告了2023年AntDB产品的发布规划。

泽拓科技资深技术专家林晓斌带来了题为 《Klustron高可用和容灾技术体系》 的主题演讲。他介绍了实现Klustron(原Kunlunbase)的高可用和容灾技术体系背后的技术细节,如:Fullsync 强同步机制、Fullsync HA机制、数据中心高可用机制、集群间数据复制技术等。

OceanBase架构师周跃跃带来了题为 《MySQL能力全开放,OceanBase社区版4.0探索与实践》 的主题演讲。随着业内首个单机分布式一体化数据库OceanBase 4.0发布,新版本在功能、性能和兼容性方面得到了很大的提升。本次分享周跃跃对开放的核心特性进行了深入的技术解读,帮助有需求的企业用户更好的使用OceanBase社区版。

石原子科技创始人&CEO叶建林带来了题为 《基于MySQL生态的下一代HTAP数据库的创新和实践》 的主题演讲。StoneDB是石原子研发的基于MySQL生态的下一代HTAP数据库,在本次演讲中叶建林对StoneDB的核心技术进行了阐述和解读,并列举了几个实际应用案例,展示了StoneDB丰富的应用场景和强大能力。

11「智能前沿:数据库内核技术」专题论坛

尽管数据库的类型和技术方向多种多样,但开发人员对内核技术的探索始终如一。在 「智能前沿:数据库内核技术」 专题论坛,演讲嘉宾从内核技术和能力实现的角度出发,深挖底层技术,探讨数据库的最新架构设计与实现原理。

四维纵横创始人&CEO姚延栋带来了题为 《超融合数据库如何做到既要又要还要》 的主题演讲。他从数据库本质出发,分解数据库复杂度的根源,并介绍了YMatrix的超融合数据架构和内部细节,如多模数据支持和不同场景操作等,让架构师、业务人员、开发人员聚焦于数据价值,而不是数据库价值,加速企业数智化转型步伐,避免“试点炼狱”。

云和恩墨数据库内核研发工程师王春玲带来了题为 《MogDB中自治异步事务提交的设计与实现》 的主题演讲。自2020年以来,云和恩墨持续加大对数据库产品 MogDB 的研发投入,自研了事务异步提交、动态分区裁剪、增量排序、智能数据索引压缩等企业级特性,并逐步回馈 openGauss 社区。本次演讲,王春玲对MogDB数据库中能够提升高并发场景下事务处理能力的自研特性“自治异步事务提交”的设计与实现进行了详解。

达梦公司华北服务中心技术总监姚艳玲带来了题为 《达梦数据库产品和内核技术》 的主题演讲,对达梦数据库重点产品线、解决方案和实际的应用案例进行了解读。达梦数据库是国内最早从事数据库自主开发研制的厂商之一,多年来,达梦数据库始终坚持自主研发数据库的内核技术,搭建起国内数据库厂商最丰富的产品线和解决方案。姚艳玲重点介绍了达梦数据库基于代价的优化器、并发控制等技术,达梦共享存储集群DSC的缓存融合、快速故障转移、专用ASM文件系统等原理。

人称“Oracle百科全书”的云和恩墨联合创始人兼CTO杨廷琨带来了题为 《Oracle Database 23c 创新特性和SQL增强》 的主题演讲,介绍了Oracle最新发布的23c版本都有哪些创新特性和SQL增强。演讲中,杨廷琨对查询省略FROM、表支持4096列、Boolean类型、GROUP BY别名、SCHEMA级授权、DDL支持EXISTS、新开发者角色、构建多行记录、更新JOIN结果、RETURN支持OLD、完善报错信息、SQL DOMAINS、无锁列值托管、自动事务终止等做了一一讲解。

VoltDB中国技术负责人杜华兴带来了题为 《分布式内存数据库VoltDB内核原理》 的主题演讲。VoltDB是由ACM图灵奖得主Michael Stonebraker博士领导的世界一流数据库专家团队所创建的开源产品,它是一款性能出色的分布式内存数据库和数据处理引擎,具有多方面的优势。本次演讲中,杜华兴对分布式内存数据库VoltDB的内核架构和实现原理进行剖析解读。

12「智胜未来:数据技术创新应用」专题论坛

科技的飞速发展带动了一些新的应用场景,如电商平台、金融服务、数字政府、智能制造等。这些多样且复杂的场景对数据库的能力提出了不同的要求,因此数据技术也需不断分化、合并、演进、迭代,以适应业务需求。「智胜未来:数据技术创新应用」 专题论坛为大家分享了在各行业千差万别的需求场景下有哪些值得参考借鉴的数据技术创新应用案例。

云和恩墨数据智能产品部总经理徐培带来了题为 《为数据插上智能的“翅膀”,数据智能技术助力企业降本增效》 的主题演讲。他介绍道:为解决企业生产运维环境当中所产生的海量数据分析问题,进一步释放数据价值,云和恩墨数据智能产品团队研发了机器数据智能平台(zAIoT Platform)和机器数据智能分析软件(zAIoT AS)两款产品,其中zAIoT Platform作为工业物联网平台提供海量时序数据的接入、存储、处理和分析能力;zAIoT AS作为硬件设备数据的智能分析软件,为硬件设备生产制造商提供了原型验证、质量验证、预测性维护、组态管理和数据挖掘等功能。徐培结合实际应用场景对这两款产品的能力进行了深入解读。

京东科技数据库架构师刘欢带来了题为 《京东云数据库在双十一期间的应用实践》 的主题演讲。京东云数据库作为京东集团的主要数据载体产品,以其丰富的产品线及高可靠高可用的服务架构,大规模支撑了京东6.18和11.11大促的稳定运行。本次分享,刘欢对双十一期间云数据库整体技术解读以及云数据库在不同业务场景的案例介绍。

用友财务云资深数据架构师李传猛带来了题为 《ToB复杂HTAP业务场景的落地:用友事项会计+云原生PolarDB》 的主题演讲。用友的事项会计产品具有实时、精细、多维的特性需求。基于这些特性需要,用友财务云跟阿里PolarDB数据库团队深度合作交流,一起规划并落地了PolarDB的核心特性:实时、列存、内存、多写、特性分区,使PolarDB成为了能够支撑ToB复杂业务场景的HTAP数据库。

中移集成运维部数据库负责人朱乐齐带来了题为 《数字政府数据治理新模式》 的主题演讲。中移集成公司创新推出的特色应用品牌onecity,面对甘肃数字政府在全省范围内多云架构,多种国产数据库和开源数据库的统一运维管理挑战,构建了混合云环境下多种数据库的生命周期统一运营管理架构,引入主流国产及开源数据库在跨云跨平台环境下的统一运维技术,形成数字政府核心层数据层的一体化交付方案,规范化自动化的运维大幅降低了运维人员工作压力。

知乎数据库负责人代晓磊带来了题为 《知乎分布式数据库上云实战》 的主题演讲。知乎作为中国互联网高质量的问答社区和创作者聚集的原创内容平台,在各个业务线超大数据量的存储选型方面有很多经验,数据库到底是跑在云上还是裸金属部署?知乎作为国内较早实践k8s的互联网公司,也比较早的将分布式数据库TiDB、Redis等数据库上云。本次分享,代晓磊解读了如何为合适的场景选择合适的数据库以及一些云上踩坑经验分享。

道足以忘物之得春,志足以一气之盛衰。”数据库发展的道路已经行进五十余年。半个世纪间,无数风云人物带领一代又一代数据技术从业者,勇面挑战、克服困难、持续创新,以不灭的奋斗精神,推动着技术发展进程。现如今,我们已经看到漫天星光在各自的领域璀璨闪耀、斗艳争辉,数据库的中国时刻,已经到来!未来盛世,DTC与君同行。


特别鸣谢

在此感谢:盖国强、李冬、李国良、李飞飞、庄乾锋、王义成、阳振坤、张程伟、金毅、张焕晨、冷建全、刘松、郭茁、周日明、于涛、杨辛军、魏可伟、叶正盛、刘宇、周彦伟、李士福、巩飞、徐戟、刘力鹏、阿尔曼、朱彬、韩锋、李昆、明玉琢、张俊喜、娄帅、黄凯耀、张亮、唐建法、冯若航、张绍勇、张雁飞、李俊、杨文波、Jason Li、胡亚凡、朱国云、周研、伍旭飞、孙宇熙、孔再华、刘晨、王辉、周明媛、易鸿伟、刘梦醒、陈炜、廖浩均、韩笑、王云龙、张桦、林晓斌、周跃跃、叶建林、姚延栋、王春玲、姚艳玲、杨廷琨、杜华兴、徐培、刘欢、李传猛、朱乐齐、代晓磊(排名不分先后)全体演讲嘉宾的倾力付出与精彩分享!

感谢工业和信息化部电子五所的指导!感谢云和恩墨、华为云、阿里云瑶池、OceanBase、腾讯云数据库、openGauss社区、南大通用、星环科技、万里数据库、KaiwuDB、金篆信科、亚信科技、涛思数据、人大金仓、PingCAP、矩阵起源、科蓝软件、创邻科技、红象云腾、本原数据等合作伙伴,以及中国IDC圈、DOIT、CSDN、科技中国、企业网D1Net、博文视点、TiDB社区、StoneDB社区、IT东方会、DataFun、OSChina等众多媒体、社区、出版社对第十二届数据技术嘉年华活动的大力支持!

感恩数据技术路上有你同行!

这一番暂且别罢,来日期江湖重逢。

朋友们,明年见!

2023数据技术嘉年华(DTC)官网:https://www.modb.pro/dtc2023

欲了解更多可浏览墨天轮社区,围绕数据人的学习成长提供一站式的全面服务,打造集新闻资讯、在线问答、活动直播、在线课程、文档阅览、资源下载、知识分享及在线运维为一体的统一平台,持续促进数据领域的知识传播和技术创新。

推荐阅读
关注数
8
内容数
152
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息