报告连载 | 多元算力与高速互联

最近，业界首个以算网融合为核心的多元算力研究报告《算力经济时代·2023新型算力中心调研报告》出版，我们将对报告内容开启连载模式。

结合算力经济时代的算力基础设施发展，第一章主要探讨了以下话题：

☞ 多类算力基础设施并行发展

☞ 多元算力与高速互联

☞ 高效绿色的数据存储与管理

☞ 绿色低碳与可持续发展

☞ 能源与算力协同

多元算力与高速互联

自动驾驶，云游戏、短视频、人工智能等应用场景呈现多样化，使得数据中心侧传统单一的结构难以满足要求。而随着非结构化数据占比增大，原来可以用数据库二维表结构实现的结构化数据，现在需要对海量、多种多样非结构化数据(如文本、图片、语音、视频)进行加 工、处理，自然需要多样性计算来进行匹配。

多样性计算需求，加速算力格局变换。基于x86的通用计算继续构建数字经济发展的基础，依然保持计算的核心地位。一方面继续提供更强的核心和更多的核心数满足客户不同场景需求，如第四代AMD EPYC处理器基于业界领先的5nm的制程工艺，提供多达96 个“Zen 4”架构核心、192 线程，以及最大 384MB 的L3 缓存容量。另一方 面，在 AI 应用的规模化部署和实践中发挥重要的作用。为了更加充分地利用 CPU 的资源，几年前英特尔就在 CPU 中内置针对 AI 进行加速的专用运算单元或指令集，英特尔第四代至强可扩展处理器新集成5种加速器，并搭配以更为简单易用、能够降低部署和优化难度的软件工具。

而在 Arm 阵营中，算力继续快速延伸至服务器市场，目前在国外，基于 Arm 指令集兼容架构的服务器芯片厂商主要有NVIDIA、Ampere Computing、亚马逊和富士通。NVIDIA Grace CPU 基于最新的 Armv9 架构，为 AI、HPC、云 计算和超大规模应用而设计。如 AmpereComputing(安晟培半导体) 致力于为数据中心带来创新的云原生处理器，基于 Arm 架构的 Ampere Altra 产品系列包括 80 核的 Ampere Altra 和 128 核的 Ampere Altra Max，并最新推出基于192 个自研核的 AmpereOne。目前国内腾讯云、阿里云、优刻得 UCloud、京东、字节跳动等多个超大规模客户的数据中心已在部署 Ampere Computing产品。

亚马逊云科技 (AWS) 也发布采用了 Graviton 3 的 C7g 应用实例，成为业界首款采用 Arm Neoverse 架构并支援 DDR5 的云端应用实例。

在国内，鲲鹏、飞腾耕耘市场多年，Arm 服务器市场份额持续增加。同时，Arm 解决方案已经在云服务商、高性能计算领域发挥重要作用。

目前云数据中心领域正在进行 x86 + Arm 多元算力的布局。阿里巴巴浙江云计算仁和液冷数据中心已经大规模应用自研 CPU芯片倚天710以及搭载倚天 710 的阿里云自研磐久服务器。在2022 云栖大会期间，阿里云宣布搭载倚天 710 芯片的阿里云弹性计算实例正式上线，从现场官方公布的数据来看，在新型云计算架构体系下，倚天 + 飞天 + CIPU 的组合表现亮眼， 在大数据和 AI 及高性能计算、视频编解码等场景下性能可提升 20% 以上。

腾讯云 CVM 标准型实例 SR1，基于主频达 2.8GHz 的 Ampere Altra 处理器，结合全新优化虚拟化平台，提供了平衡、稳定的计算、内存和网络资源。

飞腾系列 CPU 也是基于 Arm 指令集兼容架构设计的处理器，共推出高性能服务器 CPU、高效能桌面 CPU 和高端嵌入式 CPU 等多个系列。

数字中国万里行在顺义考察了中国电子按照国家关键信息基础设施标准打造的中国电子信创云基地，支撑异构多节点云的管理，基于飞腾 Arm 架构和 x86 架构构建云平台资源池，其中国产化飞腾 Arm 体系满足国家安全规定，自主安全要求的信创基础设施资源池；x86 体系的资源，作为现有部分适配难度较大的业务运行的非信创过渡资源池，服务诸多央企和政府用户。

在高性能计算领域，从全球来看，全球超级计算机TOP500 排行榜中，已有5台基于 Arm 指令集兼容架构处理器构建的超级计算机入围。同时，美国、日本、欧洲也都发布了多台基于Arm 指令集兼容 架构处理器的超级计算机建设计划，Arm 指令集兼容架构有望成为未来 HPC 的主流技术和发展趋势。

全球高性能计算机 TOP500 排行榜中基于 Arm 指令集兼容架构处理器的超级计算机

数据来源：根据 SC2022 TOP500 排名整理

基于 Arm 指令集兼容架构处理器的超级计算机进入全球超级计算机 TOP500 排行榜，已经很大程度上彰显出 Arm 指令集兼容架构在高性能计算领域的潜力。

在国内，以 Arm、RISC-V 为代表的多样性计算平台逐渐发挥重要作用。基于华为鲲鹏 920 CPU 的TaiShan服务器基于 Arm 指令集兼容架构的高性能处理器，面向高性能计算、大数据、分布式存储和 Arm 原生应用等场景，能够充分发挥 Arm 指令集兼容架构在多核、高能效等方面的优势。

比如上海交通大学“交我算”校级计算平台，在上海交通大学闵行校区的网络信息中心上线了国内高校首台基于鲲鹏处理器的集群系统。“交我算”的鲲鹏集群共 100 个计算节点，节点采用双路 64 核华为鲲鹏 920 处理器，每个计算节点拥有 128 核处理器和 256GB 内存，总 计12800 核，系统理论双精度峰值性能达 133TFLOPS，覆盖了材料科学、生命科学和流体力学等多个高性能计算应用领域。

在智能计算场景领域，以 CPU + AI 芯片(GPU、FPGA、ASIC) 提供的异构算力，并行计算能力优越、互联带宽高，可以支持AI 计算效力实现最大化，成为智能计算的主流解决方案。人工智能算法需要从海量的图像、语音、视频等非结构化数据中挖掘信息。从大模型的训练、场景化的微调以及推理应用场景，都需要算力支撑。在大模型层面，以 GPU 等 AI 训练芯片为主，为AI 计算提供更大的计算规模 和更快的计算速度。

算力服务成为一种新的业态，将通用计算、智 能计算、并行计算等多样性算力统一纳管和调 度，屏蔽不同硬件架构 差异，实现大规模异构计算资源的统一调度，实现算力的普惠化。

除了大模型，目前在 AI for Science 领域，人工智能正在给科学计算带来重大的范式革命。AI for Science 的数据来自各个学科的数据积累，模型来自各领域科学家发现的科学原理和规律；算法源自机器学习算法和数值方法等方面的创新；需要多样算力融合的综合型智能计算平台，通过分布式异构并行体系结构，实现多样算力的融合、优势 互补，为 AI 训练、AI 推理、数值模拟等不同应用提供不同算力，实现高精度到低精度算力的全覆盖、多种计算类型的全覆盖，以及 AI 训练 + 推理全覆盖。

多元算力的多元开发生态体系相对独立，应用的跨架构开发和迁移困 难，需通过开源、开放的方式建立可屏蔽底层硬件差异的统一异构开发平台。算力服务成为一种新的业态，将通用计算、智能计算、并行计算等多样性算力统一纳管和调度，屏蔽不同硬件架构差异，实现大规模异构计算资源的统一调度，实现算力的普惠化。同时，当算力和网络的发展呈现一体共生之势时，从算网协同到算网融合，业务需求的变化会通过芯片、计算和存储等 IT 设备传导到网络架构层面，即数据中心作为基础设施也会相应的产生自上而下的变化。为此，除了算力网络，数字中国万里行考察期间也重点关注 DPU/IPU 乃至芯片间的互连，展现数据中心基础设施如何应对这些变化与挑战，更好的服务于用户，并可持续的良性发展。

高效绿色的数据存储与管理

从“东数西存”到“东数西算”，促使更多行业和企业重视数据，带动数据存储、管理、使用的需求增长。用户对数据存储容量、数据传输速度、硬件设备性能等各方面有了新的认知

2022 年的“东数西算”工程在实现数据中心一体化协同创新的战略价值被大家认同，东数西算是“全国一体化算力网络”下辖的一个子概念，而后者旨在推进技术融合、业务融合、数据融合，实现跨层级、跨地域、跨系统、跨部门、跨业务的协同管理和服务。从“东数西存”到“东数西算”，促使更多行业和企业重视数据，带动数据存储、管理、使用的需求增长。用户对数据存储容量、数 据传输速度、硬件设备性能等各方面有了新的认知。

有了算力，业界也提出了“存力”这一概念。但实际上，定义存力这一概念较难，涉及的维度较多。我们可以认为：算力的底层支撑为计算芯片，同理，存力的底层支撑则为存储器介质(DRAM、NAND Flash SSD、硬盘等) 。存力可以通过存储服务器或存储系统来承载，存力最基本的度量至少需要包括容量、性能两个维度。

尤其对于超大规模数据中心而言，需要突破 SSD/ 硬盘容量和瓶颈的同时提升服务器 / 存储系统的可扩展能力，需要构建高可靠、低成本的存储方案与服务，有效地激活数据价值。

在服务器中，大容量机械硬盘是海量数据的有效载体。机械硬盘的容量在持续增长。数字中国万里行发现，目前希捷的企业级银河系列 20TB 硬盘已经开始大量部署。预计 2023 年底，希捷将发 布 30TB 容量的硬盘。随着硬盘容量的不断增长，系统散热、风扇 设计、噪音振动等挑战接踵而至，对服务器架构的设计提出了更高的要求，硬盘厂商与服务器厂商需要更紧密协作，寻求硬盘和 服务器的“更优兼容”，以保证整体解决方案的性能和稳定性。

而在有些场景中，机械硬盘无法满足现代工作负载对于数据访问更高速度的需求，同时机械硬盘还会占据数据中心的较大空间，会增加空间、电源、散热和备件更换方面的成本。为了追求更高的带宽、更短的延迟，SSD 的应用日趋广泛。SSD 擅长应用在高 IOPS、高吞吐量的场景中，常见的如数据库和云计算 / 虚拟化，以及热门的 AI、高性能计算，还有搜索等。

虽然 SSD 的性能增长速度、成本下降速度远远超过机械硬盘的发展速度，但到目前为止，SSD 的单位容量价格依然与硬盘有着数量级的差距。SSD 与硬盘各自的特点需要各自继续发展，而彼此之间的落差，也急需填补。

从硬盘角度，值得一提的是希捷的热辅助磁记录技术(英文缩写为 “HAMR”) ，它是未来实现更高容量硬盘的关键技术。该技术通过 不断增加硬盘的面密度和存储容量，打造新一代高性能硬盘。

HAMR 硬盘在读写速度、性能、可靠性、稳定性等方面均表现卓 越，是非常重要的一个存储技术创新，增加了可用存储区域的数据存 储量—— 即俗称的磁盘“磁密度”。磁密度的提升将有助于在下一个十年推动硬盘产品的发展和增长。

根据希捷最新公布的技术路线图，HAMR 技术将帮助希捷在未来四年中翻倍提升硬盘单碟容量，为市场提供更大容量的存储产品，同时降低数据存储成本。以今天 20TB 硬盘为例，目前每个碟片承载 2TB 的容量，需要 10 个碟片，而在 4 年后，5个碟片就可以实现 20TB 的存储量，总体拥有成本将得到显著降低。

SSD 的发展也多面开花。其一，通过接口、控制器的迭代(如正在进入市场的PCIe 5.0 接口)继续提升 SSD 的整体性能。其二，通过NAND Flash 介质的 3D 堆叠进一步提升存储密度和单芯片的接口速 度。譬如在2022年中，各大厂商普遍将堆叠层数推进到了 200 层以上，在2023 年初的 ISSCC 会议上，SK海力士还发表了关于 300 层产品的论文。其三，NAND 的多值化进一步提升了 SSD 的容量并降低单位容量成本，譬如 Intel 在2020年通过 QLC 技术将SSD 单盘容量推至30.72TB；在 2023 年，Solidigm 推出第四代 QLC NAND，堆叠192 层，单芯片容量达到 1.3Tb，SSD 的单盘容量将会进一步提升；面向未来的PLC技术，也已经有了样品，在刚刚结束 的 CFMS2023 中，Solidigm 宣称 PLC SSD 进行1000PE 擦写和高温老化后的数据保持能力依旧可以满足需求。不断追求高密度、低成本、低功耗，符合双碳政策引导之下的绿色数据中心需求。

从 SSD 厂商视角，“硬盘替代”是 QLC、PLC 甚至 HLC 等技术不断发展的驱动力。硬盘厂商则希望将单位容量成本的优势尽量延续。而对于用户而言，在成本制约下，“存力”的容量与性能两个维度是存在矛盾的——追求容量的场景，适合部署大量的硬盘，但需要付出空间和性能的代价；追求性能的场景，对 SSD 的使用需要精打细算、物尽其用。

当然，更现实的情况是结合 SSD 和硬盘的特点，进行混合部署。二者的结合，也从早期的“分工协作”(将不同特点的业务安排在不同的阵列 / 节点) ，逐步演化为“取长补短”(存储分层) 。软件定义存储颠覆了传统的应用观念，存储性能的分层对最终用户趋于透明，主要基于硬件冗余实现的存储安全机制也被重构，从而释放出更多资源 (容量、性能)供用户使用。可以说，如何充分释放“存力”的价值，应用水平、运维管理能力也是至关重要，可以将其视为度量“存力”的 “隐形维度”。

数据中心高效的核心是算力和存力的协同调度，计算与存储高度融合，方能充分发挥生产力，真正形成核心竞争力。在从介质到数据中心的绵长产业链条当中，每一个环节都在思考如何为客户提供更大的价值。（未完待续）