科技正能量 · 2021年10月29日

HPC技术创新的金刚钻

HPC是高性能的巅峰,过去对高性能计算需求旺盛的高等院校和科研机构是HPC应用的主要应用场景。随着数字经济的发展,HPC产业正从过去主要传统科研领域计算密集型为主,逐渐向新兴的大数据、人工智能以及深度学习等方向进行融合和演进,并形成了HPC+AI+大数据+云的多样性算力融合创新。

人工智能、基因测序、气象海洋预报、仿真模拟、军事装备研究等诸多领域,都在利用HPC的强大计算力推动民生与数字经济的不断升级。所以,HPC在一定程度上体现了一个国家的综合科技能力。

10月21日的CCF HPC China 2021上,华为发布了其在多样算力上的诸多创新,涵盖架构、存储和网络。在HPC愈发成为数字经济算力驱动的当下,推动HPC创新,就等于推动了数字经济的算力基座。

HPC是构建下一代基于数据产业的基石

去年的《关于构建更加完善的要素市场化配置体制机制的意见》指出,将发挥“数据”这一新型要素对其他要素效率的倍增作用,使数据成为推动经济高质量发展的新动能。

据IDC数据,到2025年,全球数据圈将增至2025年的175ZB,届时中国将成为全球最大的数据圈。随着数据的规模变大,迈入EB级时代,智能化驱动下的数据价值挖掘的需求也在变大。

而算力则是发挥数据价值的重要路径。

如今,计算产业在加速朝着集群化、中心化的趋势发展。从十三五到十四五规划之年,我国的超算中心体量增加了一倍。未来还可能将实施全国一体化大数据中心建设重大工程,在全国布局10个左右区域级数据中心集群和智能计算集群。

在数字经济当中,产业集群的数字化是重中之重。帮助产业集群提升生产力,构建强大的算力集群中心被认为是一个有效途径。因此代表多样计算能力的HPC技术发展不可或缺。同时,HPC作为构建下一代基于数据产业和科学计算的基石,更是开启未来数据文明的钥匙。

我国的HPC产业近年来发展迅速,涌现了华为、国防科大、江南计算所、曙光和浪潮等一大批超算研发团队和领军企业。在2021年6月发布的TOP500排名中,中国上榜的超级计算机数量高达188台,稳居世界第一。

高性能计算的技术发展,与国家战略和行业大趋势息息相关,如节能环保。2021年政府工作报告中明确提出要扎实做好“碳达峰”、“碳中和”各项工作,“十四五”是碳达峰的关键期、窗口期。我国作为发展低碳经济,促进数字经济全面绿色转型,重塑数字产业具有重要意义。

很明显,国家的双碳战略为核心,驱动新一轮的能源革命,带动产业转型,千行百业的低碳节能,产业“大机遇”就蕴藏其中。

而随着高性能计算机系统性能基数的持续增长,高性能和高能耗已经成为高性能计算机系统的显著特征和一对矛盾体,高能耗是未来超算产业面临的一大核心技术挑战。在低碳时代,未来的超算中心要求能耗可监测、可管理,而且可预测、可定制。研究超算中心能耗动态管理技术,开发一体式综合管理框架,以开放规范为原则,实现对计算机系统、变配电系统、空调系统、安防系统的智能化设备的全覆盖和有机整合势在必行。

华为HPC创新的“金刚钻”

在HPC的技术发展路径中,也出现了很多新的趋势和难题。

首先,是算力异构化成为超算技术发展的趋势,处理器开始多样性发展,多元应用也在驱动算力的多样化。面向多样性计算时代,系统从单一算力到多样性算力,从单机部署到集群部署,从传统应用到融合智能应用,给软件开发者带来了更加复杂的挑战。

为此,华为发布了多样性计算融合架构“北冥”。作为多样性计算硬件及集群打造的完整软件栈,北冥架构不仅为多样性计算系统提供通用、高效、高性能的开发能力,助力开发者更好地应对开发生态碎片化、开发成本高、系统整体性能无法充分发挥的挑战;还可以帮助开发者实现分布式应用的极简开发、融合应用的高效部署以及多样性计算系统的全栈效能最优。同时,北冥架构的MindStudio统一工具链,为开发者提供统一集成开发环境,实现开发全流程连贯无断点。

简而言之,华为为多样性计算打造的北冥架构,帮助开发者简化多样性计算环境下的开发和部署,实现与单机相同的应用开发和部署体验,充分释放算力性能,获得远超单一算力的应用性能。

其次,数据密集型超算需求激增。最新发布的报告显示:HPC整体市场预计在未来五年(2019-2024 年)将以6.8%的复合年增长率(CAGR)增长,其中高性能数据分析HPDA的市场份额(包括支持HPC的人工智能)预计将以5年平均17%的CAGR迅猛增长。

这意味着客户在HPDA和AI代表的数据密集型方向上有较多需求。为此华为发布了业界首个面向HPDA的华为OceanStor Pacific存储,可以做到一套存储支撑高性能计算、大数据分析、AI计算的混合负载,大幅提升数据分析效率。同时,华为还联合中国计算机学会高性能计算专业委员会发布了由多个产学研组织联合编写的《数据密集型超算技术白皮书》。

第三,数据中心网络,连接数据中心内部通用计算、存储和高性能计算资源,服务器间的所有数据交互都要经由网络转发。随着IT架构、计算和存储技术都在发生重大变革,驱动数据中心网络从原来的多张网络独立部署向全以太化演进。而传统的以太网无法满足存储和高性能计算的业务需求。

华为超融合数据中心网络,通过智能无损算法、在网计算等技术创新,可以基于全无损以太架构实现以太对传统专有网络技术的替代和超越,打破通用计算、存储和高性能计算三套网络架构的限制,最大化实现数据的无障碍流动,有效提升算力能效比,并可率先向L3.5自动驾驶数据中心网络迈进,实现多云多厂商网络的端到端自动化和智能运维。

在本次的HPC China 2021上,北冥架构、OceanStor Pacific存储和超融合数据中心网络,组成了华为HPC技术创新的“黄金搭档”。

华为为什么能够成为HPC产业的领导者

作为公认的“计算金字塔尖上的明珠”,HPC的成就一方面有赖于计算、存储、网络这些基础技术的创新,另一方面则要求与场景做结合,解决实际项目中的问题。

首先,对HPC这种技术创新来说,耐得住寂寞,沉下心来才能走的更远。而华为多年在不断深入基础技术研发,过去十年研发总投资超过7200亿元人民币,未来几年,华为每年的研发经费会逐步提升到150~200亿美元。

其次,华为30多年的发展历程中,服务了大量的客户场景,并通过场景反馈出更多的需求,让华为更理解多样性的算力,如何赋能多样性的场景需求。这是华为能够屹立HPC发展潮头的原因之一,例如在HPDA需求,自动驾驶、基因测序、电影渲染、精准天气预报等广泛的应用场景,华为均有很好的建树。

最后,华为始终对产业有敏锐的认知,从不跟随,总是引领。我们看到,《数据密集型超算技术白皮书》代表了数据密集型超算的理论支撑,业界首个面向HPDA的华为OceanStor Pacific存储和超融合数据中心网络CloudFabric 3.0的创新也为整个HPC产业的创新提供了新的思路。

HPC代表了高性能的巅峰,这也与华为追求技术创新巅峰的特点也是非常贴合的。

总结来看,华为在HPC领域的成功并不偶然,多年的技术投入,大量场景化实践,坚持自主创新的产品战略,以及过硬的产品软硬件组合,正是这一系列的原因促成了华为在HPC行业的领导者地位

推荐阅读
关注数
2842
内容数
255
新基建、云计算、数字经济、数字化转型
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息