烟烟(陶冶) · 2023年10月03日 · 上海市青浦区

SK hynix的“内存中心计算”

 title=
                                                                                                                                                                                                       Hot Chips上的重要技术信息
                                                                                                                                                                                                                              芝能智芯出品

在2023年的Hot Chips 35大会上,SK hynix主要讲解内存领域的专业知识,介绍如何解决当今大规模计算领域人工智能的主要需求。SK hynix展示了其在领域特定内存上的“内存中心计算”工作,在寻找方法来缓解当前人工智能计算面临的最大挑战之一,即内存容量和带宽与可用计算资源之间的关系。本文主要收集这次系统性的介绍,并且做一些表述。

 title=

SK hynix面临的问题是这样的:生成式人工智能推理的成本非常高昂,不仅仅涉及到人工智能计算,还包括功耗、互联和内存,这些因素也在很大程度上推动了成本的增加。

●大型Transformer模型对计算和内存的需求

特别是对于大型Transformer模型,内存是一个主要挑战,模型需要大量数据,通常受到内存容量和带宽的限制。

 title=

SK hynix认为AI硬件行业需要的不仅仅是内存,还需要包括内置计算功能的不同类型的内存,其中包括领域特定内存,一直在努力成为内存计算提供商,这是提高价值链的方式。

 title=

●“内存中计算”或称为SK hynix AiM

 title=

在GDDR6内存中,每个内存块都有自己的1GHz处理单元,能够提供512GB/s的内部带宽。

 title=

在内存中进行矩阵-向量乘法(GEMV)以进行人工智能计算,权重矩阵数据来自内存块,而向量数据来自全局缓冲区。

 title=

内存中的AiM使用特定的内存命令进行计算。

 title=

内存的扩展性,以及大型语言模型所需的内存中AiM计算资源。

 title=
 title=

使用这种AiM的情况下,主要挑战是需要在软件端进行映射,为AiM设计硬件架构,然后提供接口,这是采用这种技术的另一个主要障碍。

 title=

研究如何将问题映射到AiM

 title=

系统架构需要能够处理规模化和扩展性

 title=

AiM架构的关键组件包括AiM控制器、可扩展多播互连、路由器、计算单元(ALU)和指令序列控制器。

 title=

矩阵向量累积函数对人工智能工作负载至关重要,AiM使用一种类似CISC的指令集来管理这些函数。

 title=

优化:在新的架构中,通常存在可以利用的微妙差异来获得更好性能的方法

 title=

SK hynix不仅仅在抽象层面上讨论了AiM技术,展示了使用两个FPGA的GDDR6 AiM解决方案的概念验证。

 title=

AiM软件堆栈

 title=
 title=
 title=

SK hynix用来验证概念,仍然处于评估阶段,对这种解决方案与传统解决方案进行不同类型的分析。这是一个未来可能发展的方向。

推荐阅读
关注数
11949
内容数
697
专注于汽车电子工程领域,紧跟技术创新,助力行业发展
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息