story · 11月21日

DRAM 遇到了“内存墙”

世界越来越质疑摩尔定律的消亡,但悲剧在于,它在十多年前就已经消亡了,只是没有大张旗鼓。

相比逻辑上,但摩尔定律也一直适用于 DRAM。

DRAM 不再缩放。在辉煌的年代,内存密度每 18 个月翻一番——甚至超过了逻辑。这相当于每十年密度增加 100 多倍。但在过去的十年里,缩放速度如此之慢,以至于密度只增加了 2 倍。

image.png

现在,随着人工智能的爆炸性增长,该行业的平衡进一步受被打乱。虽然随着时间的推移,逻辑芯片在密度和每个晶体管的成本上都有了显著改善,但 DRAM 速度的提高却很慢。尽管 FUD 很大,但台积电的 3 纳米和 2 纳米工艺节点的每个晶体管成本继续下降。

而对于内存,带宽的增加是由昂贵的封装驱动的。

高带宽内存(HBM)是加速器内存的核心,per GB 的成本是标准 DDR5 的 3 倍或更多。客户被迫接受这一点,因为如果他们想设计一个有竞争力的加速器,几乎没有其他选择。这种平衡是不稳定的——随着层数的增加,未来的 HBM 世代变得更加复杂。

随着模型权重接近 TB 规模,人工智能内存需求正在爆炸性增长。对于 H100 来说,约 50% 以上的制造成本归因于 HBM,考虑 Blackwell 这一比例到~ 60% 以上。

换句话说,DRAM 行业遇到了障碍。算力改进虽然速度变慢,但远远超过了内存。 DRAM 的创新步伐如何重新加快——以及未来可以利用哪些创新来提高带宽、容量、成本和电力使用?

数千亿美元的人工智能资本支出,该行业有强大的动力推动这些解决方案向前发展。

DRAM 入门

计算机中使用的内存有几种类型。最快的是 SRAM(静态随机存取存储器),它与逻辑处理器工艺兼容,位于 CPU 或 GPU 上。由于它在逻辑芯片上,SRAM 也是最昂贵的内存类型——每字节比动态随机存取存储器(DRAM)贵约 100 倍以上——因此仅少量使用。另一端包括非易失性 NAND 固态驱动、硬盘驱动和磁带。这些很便宜,但对许多任务来说太慢了。DRAM 位于 SRAM 和 Flash 之间——足够快,足够便宜。

image.png

DRAM 可以占非人工智能服务器系统成本的一半。然而,在过去的 10 年里,它是所有主要逻辑和内存中规模增长最慢的。16Gb DRAM 芯片在 8 年前首次大量提供,但今天仍然是最常见的;推出时,它们的价格约为每千兆字节 3 美元。目前,功耗得到了最好的改善,这主要是由于 LPDDR 的兴起。DRAM 缺乏进展是阻碍计算的性能和经济的瓶颈。

END

来源:数字芯片实验室

推荐阅读

更多数字 IC 设计技术干货等请关注数字芯片实验室专栏。添加极术小姐姐(微信:aijishu20)微信可申请加入IC设计交流群。
推荐阅读
关注数
12319
内容数
221
前瞻性的眼光,和持之以恒的学习~
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息