PCI-Express（PCIe）技术作为服务器内部组件与外部设备互连的核心，其带宽每三年翻倍的规律推动了计算性能的持续提升。从首次技术讨论到实际应用的三年滞后期，使得业界对 PCIe 6.0 的期待尤为迫切。
博通通过 2014 年收购 PLX Technology 进入 PCIe 交换机市场，凭借 Atlas 系列交换机和 Vantage 系列重定时器，巩固了其在 PCIe 6.0 时代的领导地位。
与此同时，Nvidia 的 NVSwitch 架构以高带宽、低延迟的专有解决方案在 AI 服务器中占据优势，但其高成本和封闭性限制了普及。
PCIe 6.0 引入 PAM-4 编码和前向纠错（FEC）机制以提升带宽，却面临信号完整性和延迟的挑战。
文章分析了 PCIe 6.0 的技术细节、市场驱动因素以及博通的竞争策略，并提出了一种开放的 PCIe 端口聚合方案，旨在平衡成本与性能，推动高性能计算（HPC）和 AI 应用的广泛发展。
Part 1.PCIe 6.0的技术挑战与市场驱动
PCIe 6.0 标志着该技术的一次重大突破，其核心变化是从 PCIe 5.0 的 NRZ（不归零）编码转向 PAM-4（四级脉冲幅度调制）编码。
NRZ 编码每个信号周期传输 1 位数据，而 PAM-4 通过四级幅度实现每周期 2 位传输，使带宽从 PCIe 5.0 的 32 Gb/s 翻倍至 64 Gb/s。然而，PAM-4 信号复杂度更高，其误码率（BER）较 NRZ 高出三个数量级，对信号完整性构成严峻挑战。
为确保数据可靠性，PCIe 6.0 引入了前向纠错（FEC）机制。FEC 通过在数据包中添加冗余信息纠正错误，但计算纠错码的过程增加了系统延迟，这对延迟敏感的 AI 和 HPC 应用尤为不利。
为此，PCI-SIG（PCIe 标准制定组织）采用了流控制单元（FLIT）和循环冗余校验（CRC）的混合机制。
测试显示，该设计在小数据包传输中略增延迟，但在大数据包传输中将延迟减半，整体优化了性能。例如，PCIe 6.0 x16 通道的双工带宽达 256 GB/s，足以应对高吞吐量场景，但延迟优化仍是技术推广的关键。
PCIe 6.0 在铜线传输上面临信号衰减问题。随着带宽提升，铜线上的噪声加剧，传输距离被迫缩短。博通的 Vantage 5 重定时器通过增强信号强度，将传输距离恢复至较低带宽下的水平，成为 PCIe 6.0 生态系统中不可或缺的组件。
AI 和 HPC 应用的爆炸式增长推动了对高带宽、低延迟互连的需求。
在 AI 服务器中，多 GPU 之间的高速通信和数据共享对带宽要求极高，而传统 PCIe 架构在连接 GPU、加速器和网络接口时常遭遇瓶颈。例如，一台配备 8 个 GPU 的 AI 服务器通常需要 4 个 PCIe 交换机，每个交换机支持数十个通道，以实现设备间的点对点通信。
Nvidia 的 NVSwitch 架构通过专有设计满足了这一需求。NVSwitch 4 ASIC 提供 57.6 Tb/s 总带宽，每个 NVLink 5 端口达 1.8 TB/s，远超 PCIe 6.0 x16 的 256 GB/s。
然而，NVSwitch 的高成本和专有性使其局限于 Nvidia 生态系统，难以普及。相比之下，PCIe 6.0 作为开放标准，具备更广泛的兼容性和成本优势，成为业界关注的焦点。
博通抓住这一机遇，其 Atlas 3 交换机支持 144 个通道（72 个端口），通道数比竞争对手多 2.25 倍，显著提升了 AI 服务器的互连能力，Vantage 5 重定时器通过支持 PCIe 5.0 和 6.0 的双模编码，进一步增强了信号传输的灵活性，满足了市场对高性能互连的迫切需求。
Part 2.PCIe 6.0 交换机与 NVSwitch 的竞争及未来方向
PCIe 6.0 交换机和 NVSwitch 代表了两种不同的技术路径。
NVSwitch 通过聚合 NVLink 端口，实现 GPU 间的直接高带宽通信，其 1.8 TB/s 的单端口带宽在 AI 训练和推理中表现出色。
然而，这种性能依赖于 Nvidia 的专有生态，成本高昂且兼容性有限。例如，NVSwitch 4 需要 72 条 200 Gb/s 通道构成一个端口，总计仅 4 个端口，限制了其扩展性。
PCIe 6.0 交换机以开放标准为基础，单通道速率达 64 Gb/s，x16 配置提供 256 GB/s 双工带宽。虽然单端口带宽不及 NVSwitch，但通过多通道聚合和交换机设计，PCIe 6.0 可支持更灵活的系统架构。
博通的 Atlas 3 交换机以 144 个通道领先市场，能够连接更多设备，适用于通用服务器和 HPC 集群。此外，PCIe 6.0 的成本远低于 NVSwitch，使其在非 AI 场景中更具竞争力。
为弥合 PCIe 6.0 与 NVSwitch 的性能差距，业界提出了一种开放的 PCIe 端口聚合方案，类似于 Nvidia 的 NVLink。例如，聚合 64 个 PCIe 6.0 通道（x64）可实现 1 TB/s 的带宽，接近 NVLink 5 的 1.8 TB/s，同时保留 16 个通道用于其他用途。
这种“PCI-Link”端口不仅提升带宽，还可结合 CXL 协议实现内存一致性，支持更复杂的系统设计。
● 方案的优势包括：
◎ 开放性：基于 PCIe 标准，兼容现有硬件和软件生态。
◎ 成本效益：无需专有 ASIC，制造和部署成本更低。
◎ 可扩展性：支持多种设备互连，适应 AI、HPC 和数据中心需求。
与 NVSwitch 相比，PCI-Link 的带宽稍逊，但其开放性和低成本使其更具市场潜力。例如，一个 144 通道的 Atlas 3 交换机可配置多个 x64 端口，提供数 TB/s 的总带宽，足以应对 AI 工作负载。
PCIe 6.0 的商用化进程正在加速。博通的互操作开发平台（包括 Atlas 3 和 Vantage 5）已于 2024 年推出，预计 2025 年将有更多 AI 服务器采用 PCIe 6.0 设备。
博通产品线经理 Sreeni Bagalkote 表示，PCIe 6.0 的过渡将首先在测试设备中展开，随后进入制造阶段，真正的 AI 服务器部署将在明年逐步增加。
● PCIe 端口聚合方案的实现面临多重挑战。
◎ 首先，硬件设计需支持更大规模的通道聚合，可能增加交换机复杂度。
◎ 其次，协议优化需进一步降低延迟，以匹敌 NVSwitch 的性能。
◎ 最后，生态系统建设需要英特尔、AMD 等厂商的协作，推动标准统一和市场接受度。
小结
PCIe 6.0 的推出是互连技术的重要里程碑，其高带宽和优化延迟特性为 AI 和 HPC 服务器提供了强有力的支持。博通通过收购 PLX Technology 和持续创新，凭借 Atlas 3 和 Vantage 5 等产品在 PCIe 交换机市场占据领先地位。
尽管 Nvidia 的 NVSwitch 在性能上独树一帜，但其专有性和高成本限制了广泛应用，而 PCIe 6.0 凭借开放性和成本优势展现出更大潜力。
未来，通过 PCIe 端口聚合等开放方案，业界有望在性能和成本之间找到平衡，推动高性能计算技术的普及。
END
作者：芝能芯芯
文章来源：芝能智芯
推荐阅读
更多汽车电子工程领域相关技术干货，请关注专栏芝能汽车电子设计 欢迎添加极术小姐姐微信（id:aijishu20)加入技术交流群，请备注研究方向。
