E企研究院 · 2023年08月24日 · 广东

报告连载 | 网格架构的两类 Chiplet

最近,业界首个以算网融合为核心的多元算力研究报告《算力经济时代·2023新型算力中心调研报告》出版,我们将对报告内容开启连载模式。

结合算力经济时代的算力基础设施发展,第二章主要探讨了以下话题:

☞ 多元算力:CPU + GPU

☞ 摩尔谢幕,Chiplet 当道

☞ Chiplet 与芯片布局

☞ Arm 新升:NVIDIA Grace 与 AmpereOne

☞网格架构的两类 Chiplet

AmpereOne毕竟有多达192个核心和384MB L2缓存,采用渐趋流行的 Chiplet技术并不出人意料。目前比较普遍的推测是做法与AWS Graviton3 类似,即CPU及缓存单独一个die,DDR 控制器的die在其两侧,PCIe 控制器的 die在其下方。

把CPU核心及缓存,与负责外部 I/O 的控制器,分离在不同的die上,是服务器CPU实现 Chiplet 的主流做法。

image265.png
△IOD居中的AMD第二代EPYC处理器与核心die居中的 AWS Graviton3 处理器

前面已经提到,AMD EPYC 家族处理器采取星形拓扑,把 I/O 部分集中放在1个IOD上,CPU核心及缓存(CCD)环绕四周的设计。网格架构的特性决定了CPU 核心及缓存必须在中间,I/O 部分分散在外围,所以拆分开时就是一个相反的布局。

共同点是中间的die大,四周的die小。

与EPYC家族的架构比,网格架构的整体性比较强,天生的单体式(Monolithic)结构,不太利于拆分。

网格架构必须考虑交叉点(节点)的利用率问题,如果有太多的交叉点空置,会造成很大的资源浪费,不如缩小网格的规模。

以初代英特尔至强可扩展处理器为例,为了满足从4 ~ 28个的核数(Core Count,CC) 变化范围,提供了3种不同构型的die(die chop),分别是:

● 6×6的XCC(eXtreme CC,最多核 or 极多核),可支持到 28 个核心;

● 6×4的HCC(High CC,高核数),可支持到18 个核心;

● 4×4的LCC(Low CC,低核数),可支持到10 个核心。
image279.png

从这个角度来看,AmpereOne 不支持128 核及以下也是合理的, 除非增加die 的构型,而这又离不开公司规模和出货量的支持——量的问题还得量来解决。

第四代英特尔至强可扩展处理器就提供了2种构型的die,其中,MCC(Medium CC,中等核数)主要满足 32 核及以下的需求,这个核数要求比代号Ice Lake的第三代英特尔至强可扩展处理器的40核还要低,所以网格的规模也比后者的7×8还少1列,为7×7,在布局上最多可以安置 34 个核心及其缓存。

36 ~ 60 个核心的需求就必须由XCC来满足了,它就是前面提到过的 Chiplet 版本,把网格架构从中间切成了4等分,可谓独树一帜。

XCC 版的第四代英特尔至强可扩展处理器由2种互为镜像的die拼成2×2 的(大)矩阵,所以这个整体高度对称——上下、左右都对称,前三代产品和同代的 MCC 版都没有如此对称。
image289.png

英特尔认为(XCC 版)的第四代英特尔至强可扩展处理器4个die拼接的效果是一个准单体式(quasi-monolithic)的die。单体式不难理解,常见的网格架构就是如此,第四代英特尔至强可扩展处理器外圈的左右有 DDR 内存控制器,上下是PCIe控制器和集成的加速器(DSA/QAT/DLB/IAA),UPI 位于四角,也是典型的网格 架构布局。

单体式前面的“准”是怎么达成的呢?就要看网格结构内部的“缝合” 技术了。

EMIB 及其带宽估算

如果没有采用Chiplet技术,XCC版本的第四代英特尔至强可扩展处理器应该是一个10 × 8的网格架构,最多60个核心,留下20个(节点)给 I/O。

如果直接把这个单体式的die四等分,那每一部分就应该是一个5×4的小网格。

但事实是这4个die要连为一体,就要为它们增加一行一列的连接 点,其中多出来的一行有4个,一列有6个。4个die对接到一起,就用20个交叉点形成了10个EMIB的“桥”。
image301.png

△ 第四代英特尔至强可扩展处理器的 EMIB 连接

EMIB(Embedded Multi-die Interconnect Bridge,嵌入式多芯片互连桥接)是英特尔用于实现2.5D封装的技术。第四代英特尔至强可扩展处理器内部封装了4个XCC 的die,每个die拥有14条EMIB互联,其中4条用于对外连接HBM2e内存,10条(6 横4 纵)用于相邻 XCC Tile 之间的互联。目前英特尔尚未公布 die 层面 EMIB 互联的具体带宽,我们仅能从工艺角度获知EMIB互联总线每对触点可以提供5.4Gb/s 以上的带宽(Pin Speed),凸块间 距为 55μm(微米),die之间的距离为100μm。

我们可以通过间接的方式进行估算。每die的4条EMIB对应16GB 8-Hi HBM2e。HBM2e每个引脚的数据传输率为3.2Gb/s,每堆栈(Stack)为 1024bit 位宽,总带宽为400GB/s 量级。因此,每条连接HBM2e的 EMIB PHY至少可以提供约100GB/s的带宽。将每堆栈HBM2e的1024bit 位宽均摊到4条EMIB,则为每条至少256bit。将EMIB每pin 5.4Gb/s 的带宽代入,则每条 EMIB 的理论带宽起码可以达到173GB/s。

将上述估算套回XCC的die间互联,则可知第四代英特尔至强可扩展处理器每个XCC 的互联带宽约为1 ~ 2TB/s 量级(1TB ~ 1.7TB/ s),相邻两个 XCC之间的互联为600GB/s ~ 1TB/s(左右向6组PHY)或400GB/s ~ 691GB/s(上下向 4 组 PHY)。(未完待续)

推荐阅读
关注数
5027
内容数
335
E企实验室由E企研究院专职产品技术分析师针对数据中心、云计算、AI和5G等领域最新技术和应用研究、验证、试用、分析,数据中心级新产品新技术的市场教育,国内唯一同时研究互联网和传统企业IT基础设施的机构和部门
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息