最近我试用了2款基于LLM大模型+RAG知识库的商业软件,按照发布的时间排序,也按照字母的缩写,分别称为F家和L家吧。
背景:在撰写本文的分享之前,我就已知有一些不完美和遗憾之处,这次希望能达到抛砖引玉的效果。欢迎大家提出自己的建议、可以在下面给我留言。
对于Intel Core CPU性能的进一步挖掘(Turbo/超频),在近几年又恢复了一些热度。记得我在《让45W TDP CPU__稳跑75W__的秘密》一文中讨论的,还只是一款10代U的轻薄移动工作站。事实上,后来55W TDP的HX高性能笔记本CPU,通常也能跑到更高的功耗。至于台式机,从散热和供电上可发挥的空间应该更大。(_注:本文主要讨论...
毫无疑问,GPU和AI加速器才是AI时代算力的最大提供者。训练AI模型需要GPU的超大算力,但一块GPU越来越存不下今天的模型,互联多块GPU成了刚需,各种高端的网卡,DPU也诞生了。推理AI模型也需要非常高的算力,同时对存储带宽的要求也越来越高。即便是端侧,这几年移动GPU和NPU的进步,AI的部署也大多从CPU侧迁移到更大算...
引言:在拟定了本文的题目《AI PC选型指南》之后,我觉得这个帽子可能有点大,所以就在后面加了个 (1)。这样后续我就可以再不断补充,另外说实话一次的篇幅也感觉不太够。我想把本文推荐给所有关注用PC跑“端侧”大模型的朋友,即便您能拿到官方的参考数据,我也建议您再看看这个测试。我先针对CPU(包含iGPU集成显卡)来...
本文内容,来自蚂蚁集团异构计算与推理引擎负责人-赵军平老师,在AICon全球人工智能开发与应用大会上的演讲ppt。
我在昨天的撰文《VMware分层内存愿景:NVMe与CXL Accelerator方案》中,刚发过SNIA 2024 Compute, Memory, and Storage Summit的资料,今天这篇我也是整理自这次会议中的一个演讲。
这是2024年的春季,一年一度的SNIA Compute, Memory, and Storage Summit(CMS,计算、内存和存储峰会)在线上举办。我又当了一把资料的搬运工,同时我还想写两三篇技术分享。
今天分享的是2024 OCP Storage Tech Talk 的演讲资料,官网来源是[链接],也有qiang外的视频。唯一美中不足的是,ppt(pdf)只有一个单文档,把全部议题合并在188页里面了。于是我做了一个拆分的动作,希望对有些朋友带来方便:)
编者注:按照惯例,R670和R770这些命名应该属于Dell PowerEdge 17代了。当然我并不确定这款服务器的具体发布时间,也没看到它的结构设计是否只有下面这一种版本。
前些天看到一篇不错的技术博客。由于我早年搞过一些服务器系统内的散热测试,但对机箱外——也就是数据中心整体的冷却方案只是一个旁观者。我趁机补习了少许知识,今天决定还是给大家写点分享。如有错误和不足之处欢迎专家朋友们指正。
去年的OCP EMEA区域峰会是在布拉格举办,今年在葡萄牙首都里斯本,都是好地方。2024 OCP EMEA Regional Summit演讲资料网盘分享 [链接]提取码:18qd官网来源:[链接](内含视频链接,qiang外的)附:部分往届峰会资料《2023 OCP Global Summit会议资料分享》《2022 OCP Global Summit会议资料分享》《2021 OCP Global Su...
随着"信创"的东风吹遍大江南北,各家公司都开始了国产化的适配道路。zStorage团队当然也没有缺席,去年我们适配了华为的鲲鹏架构,整体性能水平达到了Intel架构的70%以上。今年我们开始着力于海光CPU架构的适配。与鲲鹏架构相比,海光的适配难度相对更小。因为海光也是x86架构,海光CPU通过与AMD的合作,获得了ZEN1架构...
OFA的会议资料,我曾经在公众号上发过2次: 《RDMA、HPC资料分享:2019 OpenFabrics Alliance会议》 《OpenFabrics Alliance Workshop会议资料分享(2021、2020)》但具体到OFA联盟的历史,还是在之前一篇唐杰总的文章《SoC之三:AWS Elastic Fabric Adapter》里介绍得更好: “RDMA的技术是在一个有Mellanox主导的行业组...
Chat with RTX 是 Nvidia 发布的一款 Demo 应用程序,以此可以个性化 GPT 大语言模型 (LLM),使其连接到您自己的内容(文档、笔记、视频或其他数据),快速获得上下文相关答案。由于 Chat with RTX 全部在 Windows RTX PC 或工作站上本地运行,因此可以获得快速、安全的结果。
numa架构下,在固定数量的CPU核(10物理核,20逻辑核)的情况下,访问本地、远程以及混合内存的内存带宽表现。以及观察在不同的测试模式:顺序/随机、读/写情况下的内存带宽差异情况。从而由这些测试数据指导性能调优以及编写性能友好的代码。(如果不了解numa架构的基本知识,可以先查阅大致了解一下。)
前几天,何韬兄弟友情给我寄来了10本他这次写的新书,我们共同决定用于 “企业存储技术” 公众号粉丝福利(9本,因为我自己留了1本作为纪念)。
Figure 1. NVIDIA GB200 Superchip Incl. Two Blackwell GPUs and One Grace CPU
这次的webcast由SNIA旗下的STA(SCSI贸易协会)主持,主题是“Storage Trends 2024”,3位分享人分别来自IDC、StorageReview.com网站和KIOXIA,最后这位也是SNIA STA论坛的主席。
上周我分享了一份白皮书《基于Chiplet的商业分析-系统与技术》,其实是因为接下来还想发更多的资料。Chiplet Summit会议资料 (2024&2023)网盘下载链接:[链接]提取码:rmix为什么把去年的资料也列在这里?是因为一年前我在《Chiplet Summit_会议资料分享》里发的其实不全。以今年的会议资料为例,[链接] 上能下载到大部...