申耀的科技观察 · 2021年03月26日

加速传统HPC向HPDA演进,华为存储铸就新时代“大国重器”

众所周知,国家此前公布的《关于构建更加完善的要素市场化配置体制机制的意见》中,首次将数据与土地、资本、劳动力并列为关键生产要素,并提出加快培育数据要素市场的愿景,此举可谓意义重大。

背后的原因在于,数据存储作为科技强国的关键基础设施,在当前的金融核心交易、新型油气勘探、基因测序、自动驾驶、气象预测、宇宙探索等领域发挥着重要作用,是高性能计算(HPC)领域数据应用和数据分析的重要支撑平台,堪称“国之重器”,它不仅代表着一个国家在科学计算方面的实力,更是一个国家在经济建设中打造核心竞争力的重要武器。

在此背景下,今年3月23日,华为在成都正式揭幕的创新数据基础设施体验中心及行业创新体验中心,就集中展示了华为以独特领先的分布式软件OceanStor OS为核心,辅以多样化的硬件打造的全场景融合存储;对实现碳中和战略具有助推意义的全闪数据中心解决方案;应用于超算领域的下一代高性能数据分析存储、全面的数据保护以及智能运维管理方案,华为希望通过数据技术的全面创新进一步赋能千行百业,为数字经济的发展奠定了坚实的数据基础设施“底座”。

正如华为数据与机器视觉产品线总裁周跃峰博士所言:“数字经济时代,数据成为基础性资源和战略性资源,因此需要有强大、安全的数据基础设施保驾护航,而华为创新数据基础设施体验中心及行业创新体验中心落户成都,不仅会为全球用户提供领先的数据产品技术和针对行业的解决方案体验平台,也将会为推动数字经济时代前进作出贡献。”

重新定义的HPC基础设施

事实上,高性能计算在一个国家的国民经济发展中一直占有十分重要的位置。但一直以来业界对HPC的认知,更多的是来自于科研院所,不过随着HPC应用领域越来越广泛,高性能计算可以说已经走入了一个全新的时代,特别是HPC经过一代又一代的不断进化和迭代,以及人工智能应用的快速崛起,更使得HPC不仅在科学计算领域的贡献日益突出,同时也被人们广泛应用于智能制造、智慧医疗、自动驾驶等全新领域。

在此过程中,中国也逐渐成长为全球HPC产业的“主战场”,过去几年在HPC TOP500的榜单中,中国高性能计算无论是在性能、技术排名上都处在全球领先的位置,同样高性能计算更成为了中国“新基建”中的主要建设方向。

在华为数据存储与机器视觉产品线海量存储领域营销总监王飞看来,随着数据量的不断爆炸,目前整个产业正从计算密集型HPC向数据密集型HPDA演进,其特征包括三个方面:数据量正从PB级跃升为EB级;负载类型正从单一负载向混合负载变化;应用类型更经历了从简单到复杂的演变,这无疑给整个HPC产业提出了全新的挑战。

一、高密将成为HPC产业TCO优化的必由之路。随着数据价值不断被挖掘,企业希望将更多的数据存储下来,因此如何在单位空间存得更多是其中主要的难题,而高密将是最好的解决办法,此外软件算法的优化也至关重要,如压缩算法,大比例EC算法、以及热温自动分级算法等。

二、高通量/混合负载将成为新常态。以自动驾驶为例,其在数据导入、预处理、训练、仿真等环节中,各阶段的工作负载差异极大;同样在油气勘探领域,地震资料处理环节需要高带宽、而解释环节需要高IOPS,每个环节的负载也不一样,这意味着未来一套存储支持多种负载将是解决之道。

三、支持多种数据类型,加快数据流转也是新的趋势。有数据显示,“搬迁时间”占数据处理总时间超过35%,背后的原因是过去存储有着不同的接口,而数据需要做协议转换工作,在影响效率的同时也带来了成本的提升,这就对数据管理和流动提出了更高要求。

由此可见,HPC走向数据密集型HPDA的过程中,存储愈加重要,同时也面临着重新定义,因此如何打破传统HPC领域的存储性能、成本、效率的限制,充分释放数据潜能,降低HPC的基础设施成本不仅是当务之急,更是大势所趋。

加速传统HPC向HPDA演进

也正是洞察到这样的巨大变化,华为基于全新的数据湖理念,打造了华为OceanStor Pacific下一代数据湖存储 for HPDA,这是为打破HPC产业传统壁垒而生的下一代HPDA存储系统,能够更好的加速传统HPC向HPDA的演进。

首先,基于超高密设计,实现了全成本优化,做到了“能省善装”。可以看到,华为OceanStor Pacific下一代数据湖存储 for HPDA在5U空间里支持120个3.5寸硬盘,通过高密实现60%以上的机柜空间节省,让海量数据不再成为负担。同时,它还支持不同硬件间的数据自动分级,全面降低HPC场景的存储成本。

以针对高密性能型应用场景的OceanStor Pacific 9950为例,其被称之为“超级跑车”,性能领先业界30%;而针对高密容量性的OceanStor Pacific 9550,则被形容为“容量怪兽”,能够实现“以一顶三”的能力。

其次,面向混合负载,不仅让全场景实现加速,更能够“极速既达”。华为OceanStor Pacific下一代数据湖存储 for HPDA搭载新一代并行文件系统,通过目录DHT分区、大IO直通小IO聚合、多粒度磁盘空间管理等系列技术同时面向大、小文件设计,一套存储即可实现大文件高带宽和小文件高OPS,同时支持多种业务负载。在此基础上,还辅以DPC(Distributed Parallel Client)分布式并行客户端支持MPI-IO,实现单流和单客户端性能加速,真正实现面向混合负载的全场景加速。

最后,多协议互通,帮助用户达成全业务演进,真正实现“前景无忧”。华为OceanStor Pacific下一代数据湖存储 for HPDA可支持POSIX/MPI/NFS/CIFS/HDFS/S3等多种协议访问同一文件,实现多协议共享底座的特性能力,从而完成全流程零拷贝,同时数据无需协议转换,即可实现每种协议语义和性能无损,最大化提升流程效率和存储效率。

其中,上海天文台就选择了华为OceanStor Pacific系列,搭建了世界首台SKA区域中心原型机核心业务存储系统,不仅高效储存EB级SKA课题多样性的观测数据(结构化数据和非结构化数据),并且通过文件、大数据等多协议共享访问,减少不必要的数据迁移,实现存储即分析,高效协助射电天文学家将数据转化为科学成果,从数据中“看见”宇宙,释放平凡数据的不凡潜力。

今天,从探索星辰大海到精准气象预测,从解析基因密码到探测地球脉动,其实都有华为OceanStor Pacific下一代数据湖存储 for HPDA的“身影”,而在此过程中,华为也持续为用户打造性能更佳、成本更优、效率更高的HPDA最佳数据存储底座,不仅可以推进HPDA的规模化应用,实现HPC的普惠经济的落地,也能更好的赋能全行业的数字化和智能化转型。

铸就新时代的“大国重器”

毫无疑问,如今华为以前所未有的产品力、前瞻力、爆发力,加速传统HPC向HPDA演进之路,这背后不仅是整个HPC产业进化的大势所趋,也是华为在存储领域坚持不断的技术创新和自我突破的真实写照,更是其过去近十年在存储市场中长期耕耘所沉淀的底蕴与底气所在。

对此,华为数据存储与机器视觉产品线首席战略营销专家张国彬强调,华为存储成功的关键在于:一方面是敢于投入,同时具有敢于“革命”的创新精神;另一方面是,平台化的打造,由此实现了硬件横向扩展,软件线性扩展,下一代存储还能共享这种能力,这不仅是一种能力传承的印证,也真正让华为在存储市场构筑了强大的竞争力,具体来说:

第一,是以数据为中心,华为构建出了全场景融合存储,并为存储下一步的演进指明了方向。其中,华为基于统一软件和多样硬件,实现了面向多业务的融合存储资源池;同时基于三层智能的自动化智能数据管理平台OneStorage,实现了数据存储“规-建-维-优”全场景自动化;而面向未来,华为也会基于开放架构推出向云演进数据服务,实现客户数据的平滑演进。

第二,是以确定性架构,更好的应对未来不确定的数据变化。华为还创新推出了全分布式内存互联内核的OceanStor OS存储操作系统,以统一的存储架构支撑了华为OceanStor Dorado高端全闪存存储、OceanStor Pacific系列海量存储、以及能够实现全场景数据保护的OceanProtect数据保护解决方案,彻底解决了客户不同场景的数据存储诉求。

第三,是以产学研创新平台,合力共破数据存储业界的难题。其中,华为与产业伙伴、高校、研究机构合作打造的产学研创新平台——“奥林帕斯实验室”就是最好的体现。在此基础上,2019年华为还设置“奥林帕斯奖”,悬红数据存储技术难题,2021年数据存储“奥林帕斯”悬红继续延续,这些举措都为华为在存储底层核心技术方面积蓄了重要力量。

最后,是以积跬步行千里的精神,持续研发和创新驱动华为存储迈向领先。如果从2012年华为收购华赛正式进军存储领域算起,华为在过去近十年的时间里,通过“一步一个脚印”的技术创新,还实现了在存储领域的“后发先至”,从2016年开始到2020年,华为已经连续5年进入Gartner主存储魔力象限的领导者象限;而在IDC去年第四季度的排名中,华为存储更是已跃升至全球第三,改写了存储市场的新格局。

总的来说,机遇是留给那些有准备的人的,华为之所以始终能够处在存储乃至数字化转型变革的最前沿,关键是其能够保持着不断的投入与创新,进化与迭代,以及对客户需求的前瞻认知和准确洞察,相信随着创新数据基础设施体验中心及行业创新体验中心落户成都,未来更大的市场、更大的空间也正等待着华为存储去再次开拓和重新定义,在加速HPC向HPDA演进的同时,也能以最强的数据基础设施,铸就新时代的“大国重器”。

推荐阅读
关注数
2384
内容数
382
专注产业互联网、企业数字化、渠道生态以及汽车科技的 观察和思考。
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息