IT大嘴巴 · 2023年06月08日 · 浙江

赢麻了,这家存储怒刷纪录15倍!

当我们谈到高性能计算的时候,你最先想到的是什么?

许多人的第一反应肯定是计算,毕竟HPC (High Performance Computing)的名称中就有计算的字眼。

其实不然。不再只被封印于大型数据中心、研究实验室和超级计算机,HPC领域这些年能一贯保持增长的原因,归其本质是“数据”二字。来自千行百业、五湖四海、实时与历史的海量数据,其体量以指数级之势增长从未停歇,也因此让今天的HPC冠以更为丰富的含义——除了计算,存储的权重也早被囊括其中。

换句话说,要想数据的迭代、运算、处理的效率最大化,就需要更快、更强、更高效的数据基础设施。因此,HPC绝不只是计算的独角戏,存储正顺应时代翩然起舞。

前不久,在德国举办的ISC国际超算大会上,揭晓了最新一期的IO500榜单。其中,在最具参考价值的10节点榜单中,来自华为的OceanStor Pacific分布式存储成功登顶。这位榜单霸主,以超过13万分的总成绩缔造了新的世界纪录,竟是上届冠军成绩的15倍。

image.png

这是一项非常了不起的成就,不得不服。正如TOP500计算榜单一样,每年的IO500榜单也在高性能计算领域的顶级会议(美国SC和德国ISC大会)上发布。作为全球针对HPC存储最权威的性能排行榜,IO500以系统吞吐的I/O性能作为唯一量纲,成为全世界的存储厂商纷纷亮剑交锋的“光明顶”。

仅半年时间,在这片英雄地之上,华为分布式存储就将成绩实现了数倍的跃升。这不仅体现了华为在分布式存储领域的厚积薄发,更体现了华为如今已敏锐地、准确地把握了HPC市场发展的脉搏,成为了当之无愧的行业掌门人。

从计算到存储,华为洞见HPC产业的悄然变化

许多人可能好奇,为什么一个IO500存储榜单会在行业内掀起轩然大波,为什么存储在高性能计算中的地位能如此之高?要回答这些问题,还要从高性能计算发展的历程说起。

曾几何时,计算是所有IT应用的核心,“以计算为核心”也是许多行业应用的座右铭。在那个还是CPU承担绝对计算主力的时代,数据的产生来源较为单一、业务应用较为简单,非结构化数据体量较小、场景较窄,更多是扮演着“绿叶”的角色。

image.png

然而,当数字化登上时代舞台,一切都迎来了改变。传统HPC开始向HPDA(High Performance Data Analytics)方向演进,各行业迎来了数据量爆发式的增长。计算架构从纯CPU变成了异构模式,包括GPU、FPGA在内的多种计算形态都让我们的数据来源变得多元化;同时,在终端、边缘侧、数据中心等多场景下,每天都会产生海量的数据;我们面对的数据量正从PB级向EB级演进,此番现状对海量数据的多次提取流转、读写、存储能力提出了更高的要求……

数字化也给我们带来了许多存储的“新问题”。随着人工智能与大数据的应用越发广泛,如今无论是传统的大气物理、生物基因工程,还是新兴的卷积神经网络、汽车自动驾驶乃至AI大模型,都对数据应用提出了新的诉求,存储的价值也被放到了中流砥柱的位置。正如中国科学院院士梅宏所说——数据的开发和应用能力,已经成为国家、地区或者组织综合竞争力的关键指标。

由此看来,在推动中国数字经济发展的过程中,数据的作用不容小觑。然而,在HPC领域,如何能够更有效地处理数据?如何挖掘和发挥数据中蕴藏的巨大价值?是横亘在众多企业客户眼前的实际问题。这一次,华为分布式存储在IO500榜单拔得头筹的壮举,如划破混沌夜空的启明星,震铄寰宇。

问鼎全球,重新认识华为分布式存储

如何充分发挥分布式存储的优势、如何让技术加速数据应用效率,华为分布式存储在孜孜不倦地追寻答案。

此番,华为携手济南超级计算计算研究院(JNIST)、华中科技大学并行数据存储实验室(HUST-PDSL),共同打造Cheelo-1集群作为主体,以华为OceanStor Pacific分布式存储为核心底座,搭载全新研制的OceanFS2新一代并行文件系统。可以看见,这次产学研的强强联手意义非常重大,是各业最顶尖的实力1+1+1>3,是企业、学术、科研的再一次联接互通与再一次融合升华,更是面向教育科研领域的自主创新对超算全行业的再一次反哺与回馈。

image.png

天下武功,唯快不破。为了让分布式存储性能得到充分发挥,华为通过自主创新,打造了四大加速法宝——在架构加速、网存加速、应用加速和算法加速,从而实现多维度的驱动,让OceanStor Pacific分布式存储遥遥领先。

火车跑得快,全凭车头带,对于分布式存储来说架构就是“车头”。摒弃了诞生于20多年前传统陈旧的Lustre开源分布式文件系统,华为OceanStor Pacific分布式存储则采用的是基于软硬一体的全对称分布式存储系统架构,从根源上解决部分国内厂商依托软件+通用服务器的开源架构而衍生的品质泛滥不齐、风险漏洞频发的问题。

华为这一先进的架构能有效解决了MDS增加带来的瓶颈问题,破除元数据阻塞,实现性能的线性增长。结合当下热门的智能应用趋势,华为也加入了智能化的IO路径与磁盘管理、数据可靠性保护等等。这些特质不仅让存储动态混合IOPS性能提升20%,更满足了跨节点的冗余保护,让系统更加稳固强大。

image.png

在理顺了架构之后,数据存储与传输间的网存配合也至关重要。这一次,华为同样使用的是自研网络芯片,具备了支持RoCE等网络访问能力。此外,根据不同业务类型使用的带宽、IOPS等不同的特点,自研网络芯片也可以智能调整网络的相关参数,提供更好的拥塞控制,从而大幅降低不同存储节点间的数据交换时延。这样一来,系统的运行会更加流畅和高效,性能表现也自然更丝滑。

至此,华为OceanStor Pacific分布式存储的硬件架构已经理顺,而要想发挥数据的最大价值、提升系统效率,就需要从软件上下功夫。华为为此准备了DataTurbo数据加速引擎。但与其他解决方案不同的是,它更多采用的是融合数据格式、近数据处理和特征处理算子卸载加速等技术,并统一了数据湖和数仓内的文件格式,并优化了元数据结构。这样就实现了对于数据的统一管理,不仅能完成灵活对接各种大数据引擎的“基操”,还能让数据湖和数仓之间数据共享。

最后要介绍的则是华为OceanStor Pacific分布式存储独创的SmartBalance全均衡设计。以往存储因为数据应用的规格与体积,总是会出现资源分配不均匀的情况。而通过SmartBalance全均衡设计,可以实现大小IO分流处理,用一套存储实现了带宽、IOPS和OPS性能全优,大大降低了时延。另一方面,针对文件协议的多样性,华为还能实现文件、对象和大数据等原生多协议的无损互通,采取统一融合元数据索引,一份数据多端调用,真正实现了性能无损和语义无损。如此一来,华为也让单节点的性能飙升至20GB/s带宽和20万IOPS,达到了行业的领先水平。

正因这些种种,才有了华为摘夺IO500榜单桂冠的底气和实力。

多点开花,华为统领中国分布式存储市场的半壁江山

时至今日,分布式存储已经逐渐成为了行业主流,但是相比开源架构的“修修补补”,华为自主创新的全对称式分布式存储系统架构,明显在底层架构、软件加速与硬件创新等方面有更加出色的表现,这是自主创新不可替代的优势所在。

这一切出色的产品表现,来自于华为分布式存储历经十年专注打磨产品,每一步脚印都镌刻着匠心与沉淀。正因为拥有这些质朴又单纯的技术累积,华为OceanStor Pacific分布式存储才能在当下复杂的国际形势中勇立潮头,在IO500榜单中矗立群山之巅。

据统计,在2022年,华为在全球分布式存储收入排名中占据第二位,达到总份额的25%,甚至保持着18%的高速增长。在国内份额上,华为分布式存储已连续七年占据市场第一,占比高达48.2%,统治了中国市场的半壁江山,遥遥领先于其他友商。

如今,华为OceanStor Pacific分布式存储在欧洲、中东、拉美、亚太等地区的全球关键业务场景累积超过了24EB的数据部署规模,涉及行业也不仅仅是高性能计算,还包括教育科研、金融、医疗保健、媒体娱乐、交通安平、大数据分析等。

今年发布的《数字中国建设整体布局规划》明确了数字中国建设的整体框架,并提出要“承接各行业数字化平台及应用,依托平台承载的海量数据和算法,赋能千行百业的数字化转型”。这意味着,面向未来数字化时代,数据作为数字经济的关键生产要素,其赋值、赋能、效用和价值的发挥,对于社会经济发展具有重要意义。相信华为OceanStor Pacific分布式存储,能够乘风破浪、突破边界,跳动在时代的最强音。

推荐阅读
关注数
1943
内容数
252
专注开放计算、大数据应用、人工智能、企业数字化转型、云计算等领域产业观察及产学研合作。
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息