前言：
CXL的全名是Compute eXpress Link。CXL是Intel在2019年提出的，希望用CXL来实现计算、内存、存储和网络的解耦，并在CXL总线上提供持久内存。
CXL发展到现在已经有几十家的会员。目前CXL协议共有个版本，分别是1.0，1.1，2.0和刚刚发布的3.0，协议规范可以在官网上下载（https://www.computeexpresslin...）。关于CXL，协议里面是这样说的“CXL is a low-latency, high-bandwidth link that supports dynamic protocol muxing of coherency, memory access, and IO protocols, thus enabling attachment of coherent accelerators or memory devices”。从协议给出的定义可以看出，CXL是一种低延时，高带宽的连接技术，主要支持一致性缓存，内存和IO扩展。
CXL是基于PCIe 5.0实现的连接技术，复用了很多PCIe协议的东西，这一点上与CCIX比较像，但又不完全一样。说起CCIX和CXL，难免要相互对比。其实与其说是两种技术对比，不如说是ARM和Intel两大阵营的对抗。Intel具有一定的技术优势（至少在PCIe上）；但是ARM如日中天，客户群体巨大。本文旨在一窥CXL协议，无意探讨CCIX和CXL的路线之争。相信大家经过学习，会对两种技术有自己的认识。孰优孰劣，谁会笑到最后，那是大佬们的事情。
沧海一声笑，滔滔两岸潮
浮沉随浪，只记今朝
苍天笑，纷纷世上潮
谁负谁胜出，天知晓
扯完闲话，书归正传。接下来的内容是基于CXL 2.0协议的学习笔记。由于是第一次刷CXL协议，就还是按照协议的章节来。内容主要是三方面，一是对协议的翻译，由于英语水平和技术水平都有限，有些地方会不通顺；二是自己的理解，直白说就是中翻中，把不通顺的或者难懂的描述转成大白话，这里可能会有一些不太准确；三是一些基础知识的补充，前面提到，CXL是在PCIe的基础上发展而来，因此有不少复用PCIe协议的地方，但是CXL协议里面又不会阐述这些。我把暂时看不懂或者不太关心的部分都略过了，尤其是后半部分章节，日后如果有需要，二刷三刷的时候再补上。
背景知识之PCIe：
既然CXL是以PCIe 5.0为基础，我们还是有必要先简单了解一下PCIe协议。
PCIe是点到点的传输，采用的是低压差分技术，一条通道（Lane）在发送（TX）和接收（RX）方向上共有四条信号线。PCIe 5.0的最大传输速率是32GT/s，也就是说单通道的最大速率是32Gb/s。如果想要提高PCIe的带宽，就需要多条通道，就像高速公路要提高交通流量就需要扩展更多的车道。所以经常会看到x32，x16，x8这些描述，后面的数字就代表通道数。通道数不是随意的，PCIe 5.0支持x1，x2，x4，x8，x12，x16和x32。简单计算可以得知，PCIe 5.0最大的带宽是32*32/8=128GB/s，但这只是理论值，实际应用中需要考虑编码，数据包头等开销，有效带宽肯定要小于理论值。
PCIe的拓扑结构如下图。
Root complex：简称RC，root complex主要负责PCIe报文的解析和生成。RC接受来自CPU的IO指令，生成对应的PCIe报文，或者接受来自设备的PCIe TLP报文，解析数据传输给CPU或者内存。
Endpoint：简称EP，PCIe终端设备，是PCIe树形结构的叶子节点。EP可以分为三类，legacy endpoint，PCI Express endpoint和Root Complex Integrated Endpoints (RCiEPs)。
Switch：PCIe的转接器设备，提供扩展或聚合能力，并允许更多的设备连接到一个PCle端口。它们充当包路由器，根据地址或其他路由信息识别给定包需要走哪条路径。
PCIe可以分为三个独立的逻辑层：事务层（Transaction Layer），数据链路层（Data Link Layer）和物理层（Physical Layer）。
在发送端，PCIe传输的数据从上到下，都是以数据包（packet）的形式传输的，每个都是有其固定的格式的。事务层负责创建TLP（Transaction Layer packet)；数据链路层接收事务层发来的TLP并创建DLLP（Data Link Layer packet）；物理层接收DLLP，然后加上帧头和帧尾，把数据分发到各个Lane传输。在接收端，物理层接收Lane上传输的数据，去掉帧头和帧尾信息，发给数据链路层；数据链路层提取出TLP发给事务层；事务层解析TLP，取出有效负载数据。
这些是PCIe最基本的知识，后面用到啥再介绍。
第一章 介绍
1.1 – 1.2
略。
1.3参考文档
- PCI Express Base Specification Revision 5.0 or later
- ACPI Specification 6.3 or later
- UEFI Specification 2.8 or later
- PCI Firmware Specification 3.2 or later
- MCTP Base Specification (DSP0236) 1.3.1 or later
- Security Protocol and Data Model Specification 1.1.0 or later
1.4 概述
1.4.1 CXL
CXL在PCIe 5.0的基础上复用三种类型的协议，分别 CXL.io，CXL.cache，CXL.memory。CXL.io 用来发现，配置，寄存器访问、错误报告，主机物理地址（Host Physical Address，HPA）查找，中断等。CXL.cache用来扩展系统缓存。CXL.memory 用来扩展系统存储。其中CXL.cache和CXL.memory是备选的。三种 CXL 协议分别对应一个接口。
如上图中，右侧的主机可以通过CXL连接左侧的加速芯片，其中CXL.io扩展外部I/O设备，CXL.cache扩展缓存，CXL.memory扩展存储。
CXL 2.0支持热插拔、安全增强、持久内存支持、内存错误报告和遥测。CXL 2.0还支持多扇出（Fan-out）单级交换，以及跨多个虚拟层次结构共享设备的能力，包括对内存设备的多域支持。如下图，每种颜色标识一个虚拟层次结构。其中的MLD是多逻辑设备（Multi-Logic Device），是一个Type 3的设备，后面会讲什么是Type 3设备。
1.4.2Flex Bus
关于Flex Bus，协议里面的原话是这样说的“A Flex Bus port allows designs to choose between providing native PCIe protocol or CXL over a high-bandwidth, off-package link; the selection happens during link training via alternate protocol negotiation and depends on the device that is plugged into the slot.“
CXL也采用的是PCIe的物理层，所以对于同一个插槽上的设备，到底是CXL设备还是传统PCIe设备呢？在上电启动时，主机识别出是PCIe设备还是CXL设备，之后Flex Bus就像是一个二选一，选择采用哪个协议。这样插槽就可以兼容CXL卡或是PCIe卡。在CPU和设备之间可以插入一个或两个可选的重定时器（Retimer），以延长通道长度。下图是Flex Bus的示意电路。
插播一句，关于PCIe Retimer。随着PCIe协议的不断升级，频率越来越高，对数据在线路中的传输长度提出了强烈挑战。为了解决这一问题，PCIe协议在4.0版本中提出了Retimer。Retimer实际上是一种协议感知设备，能更好地将信号传输到更远。
下图中显示，通过此端口可将一致性加速器或智能I/O设备连接到主机处理器。
下图显示了如何通过Flex Bus.CXL来扩展内存系统。
下图显示了CXL下游端口（Downstream Port）支持的连接。
1.5 Flex Bus链接功能
Flex Bus提供了一种点对点互连，可以传输原始PCIe协议或动态多协议CXL，以支持I/O、缓存和内存协议。主要的链接属性包括对以下功能的支持：
- 原始的PCIe模式，支持PCIe协议的全部功能
- CXL模式
- PCIe或CXL配置
- 信号速率32GT/s，降级速率16GT/s和8GT/s（CXL模式）
- CXL链路宽度x16，x8，x4，x2（降级模式）和x1（降级模式）
- CXL模式下对x4的分叉支持
1.6 Flex Bus 分层概述
CXL事务（协议）层分为两个部分：处理CXL.io的逻辑和处理CXL.cahce和CXL.mem的逻辑。CXL链路层以相同的方式细分。如下图所示，CXL.io近似PCIe协议的事务层和链路层，但是CXL.cache和CXL.mem走的是自己单独的事务层与链路层（这是CXL延迟低的原因之一）。CXL ARB/MUX接口将来自两个通路的流量交织。
此外，CXL可以选择是否实现PCIe事务层和数据链路层，如果实现，则允许分别与CXL.io事务层和链路层聚合。作为链路training过程的结果，事务层和链路层被配置为在PCIe模式或CXL模式下运行。
1.7 文档范围
略。
本章总结：这一章介绍了CXL的基本概念，CXL协议可以分为三个部分，分别是CXL.io，CXL.cache和CXL.mem。从Flex Bus分层结构能够看出来，CXL也是在PCIe的分层架构上做了扩展。但是和CCIX不同，CXL为CXL.cache和CXL.mem增添了新的事务层（Transaction Layer）和链路层（Link Layer），所以也可以认为CXL.cache和CXL.mem是两个全新的协议。
【待续】
祝大家周末愉快！
作者：老秦谈芯
文章来源：老秦谈芯
推荐阅读
更多IC设计技术干货请关注IC设计技术专栏。
迎添加极术小姐姐微信（id:aijishu20)加入技术交流群，请备注研究方向。
