AI 服务器 - 杂谈与闲话 - 极术社区 - 连接开发者与智能计算生态

这一个AI的系统厂商>>系统厂商的AI 文章出来之后，有好几波朋友都在提问，其中一个比较有深度的在建议“应该写写硅仙人的公司”。其实，平日里对于硅仙人关注不多，毕竟人家所在的领域计算机架构是个鸿大叙事，真心不能掌控。

今天朋友圈有一个唱衰AI芯片公司的帖子，其实连AI都经历了两次冬天，信息产业的竞争一直很残酷，习惯就好。

服务器的新气象：

正好这周TMP 发了新作[1], "how-long-before-ai-servers-take-over-the-market", 讲到了基于IDG的数据对于服务器市场的分析。先上图。

没想到吧，AI服务器的增长速度，其实从今年以来NV的GPU和CX7的紧俏程度应该知道要有一个爆发。LLM的多模态，让太多有自己行业数据的公司和机构进入挖矿的行列。这些公司常用的做法肯定是自己运维自己的数据中心了。之前国内一个头部服务器厂商的数据也是，除了AI服务器以外，其他的服务器的量都在萎缩，因为大部分云厂商已经把自己的服务器的生命周期从3年调整到了5年。

但是就在这样的环境下， Intel本周投资了一家做整机柜的公司oxide [2]，公司的灵魂人物是DTrace的作者Bryan Cantrill，离开SUN之后，在Joynet做云计算，就是10年前在桉树之类的云计算框架很热的时候一家公司。现在出来要做下一代的服务器了。在他2020年斯坦福的演讲中讲了自己的出发点。和我之前讲的一样，服务器真的不思进取了。

在云计算的大潮下，他认为要继续SUN的FISHworks的精神，做““Fully Integrated Software and Hardware”。他认为要解决的问题：

解释下来，就是硬件要做openfirmware，软件要用新的语言Rust来重构。BMC，Rack—Scale Design，就这些就可以拿到Intel的投资，只能说Intel风投的确是Intel 自己妥妥的敌人。

看了一下它家的产品规格，在网站上没看到客户。但是能看到Intel为啥投资它，服务器是AMD最擅长的单路服务器，用的是Intel已经停掉的Tofino 交换机芯片。

看到这个，我的第一反应就是，这个不就是ODCC的天蝎机柜了，10年前就开始搞了。[3]

这个，实在想不明白了，Intel这种做法让ZT system以及supermicro作何感想，Intel的CPU现在已经这么不受待见了。

硅仙人的思路：

回到正题，如果AI 服务器的下一步就是这样的话，大家也太不思进取了。

对于上图的AI 服务器，曾经的Alpha CPU开发者，Apple A4/A5 CPU架构师， AMD K8/K12 Zen的首席架构师， HT 协议的定制者，Tesla的AI加速器架构师， Jim Keller[4]同学是拒绝的。

了解Jim同学的观点，听他的访谈是最佳渠道，感觉在大部分访谈中，Jim同学是一个非常健谈的人，基本上没有主持人打岔，他可以不断的讲下去，在了解Jim 同学的公司和产品之前，听一下Podcast是大有裨益的。5.

计算机的架构应该5年一换，从最底层开始重构。
做芯片，硅的gatecount是不值钱的，摩尔定律基本下晶体管是free，但是芯片上的线很贵，要处理好。
英伟达的成功是做了CUDA这样的中间层，他们有大量的工程师做算法和底层硬件之间的优化，他们有CUDA Ninja这样的称号。
大家要他对比乔帮主和马首富的时候，总是金句妙出。
他的AMD和Intel做架构的时候，一直强调接口，先定义接口，后做RTL
他认为GPU的并行是基于Piexls的处理的，每个Piexls之间没有任何联系，因此做并行化很容易，在AI上，特别是使用Pytorch架构，模型要转换成图, 然后做并行处理，GPU的CUDA 的微调的做法无法持续。

现在的大模型时代，大家拼命地加参数，为了大参数，拼命加内存的做法不对的（他的老东家的MI300 的128GHBM3 在哭）。
Tenstorrent 这家公司，他是最初的投资者，他认可当时的技术路线。他特意请了Andrej [7] 和LLVM 的Chris Lattner[8]两位软件大师做顾问，定义技术路线。
作为CPU的顶尖架构师，他认为我们正处在一个好时代，新的并行计算会有一次革命，就像在50年前（1970年代）一样，有大量的新架构出现。[ 笔者的comment]: 的确那个并行1.0 的时代，连现在SC 大会的“Gordon Bell”奖的Gordon Bell 的公司都成为了分母。