这一周完成了 vllm 迁移到 SGLang 的工作,其实迁移本身非常简单,基本上将之前 vllm 的 serving 指令更换为 SGLang 的 serving 指令即...
本文介绍来自华为诺亚方舟实验室、清华大学和香港中文大学联合在大语言模型量化上的最新工作 FlatQuant (Fast and Learnable Affine Tra...
大家好,今天我们继续vllm源码的解析,一起来看下它最近总是被频繁提起、也是较不好理解的一个创新点:Prefix Caching(本文同时也是Blo...
知识图谱和大型语言模型都是用来表示和处理知识的手段。大模型补足了理解语言的能力,知识图谱则丰富了表示知识的方式,两者的深度结合...
近期,AIGC领域呈现出一片繁荣景象,其背后离不开强大算力的支持。以ChatGPT为例,其高效的运行依赖于一台由微软投资建造的超级计算机。...
为了提高性能,大型语言模型(llm)通常会通过增加模型大小的方法来实现这个目标,但是模型大小的增加也增加了计算成本和推理延迟,增加了...
近年来,城市化进程加速所带来的碳排放量骤增,已经严重威胁到了全球环境。多个国家均已给出了「碳达峰,碳中和」的明确时间点,一场覆...
这一天还是来了,AI在操作系统里启动了一个自己的副本。往小了说,不过是多模态大模型通过操纵鼠标键盘的API执行任务。往大了说,也可以...
时至今日,大模型的狂欢盛宴仍在持续,而金融行业得益于数据密集且有强劲的数字化基础,从一众场景中脱颖而出。
广州大学的研究人员建立了一种基于极限梯度增强 (XGBoost) 算法的机器学习模型,可用于 P-SOC 空气电极的筛选。
浙江大学与之江实验室研究团队提出了一种基于蛋白质口袋 (protein pocket) 的 3D 分子生成模型——ResGen,与以往最优技术相比,速度提升 ...
在发布GPTs(ChatGPT的自定义版本)功能两个月之后,OpenAI终于在今天上线了万众期待的GPT Store。
2023年11月,比尔·盖茨发表了一篇文章,他表示,AI Agent将是大模型之后的下一个平台,不仅改变每个人与计算机互动的方式,还将在五年内...
早在 2023 年 11 月的开发者大会上,Sam Altman 就已经对外介绍了 GPT Store,随后而来的内部「宫斗」显然拖慢了 GPT 商店「剪彩挂牌」...
在自动驾驶领域,预测未来事件并评估可预见的风险,使自动驾驶车辆能够更好地规划其行动,从而提高道路上的安全性和效率。为此,作者提...
随着生成式AI与大模型的研究与应用进展的高潮迭起,许多行业正迎来被深度重构的新机遇,特别是现在人们生活和工作中都离不开的智能终端...
过去的一年,ChatGPT拉开全民AI的序幕,AI经历“iPhone时刻”。这一年,大佬入局、独角兽“宫斗”、千模大战;这一年,AI芯片已经成为不容忽...
岁序更替,华章日新。在刚刚过去的 2023 年中,AI for Science 带来了太多惊喜,也埋下了更具想象空间的种子。
作者:三羊、李宝珠、李玮栋、Yudi、xixi 编辑:李宝珠 在大模型时代的浪潮中,机器学习系统正经历着前所未有的变革。模型规模的急剧膨...
12 月 27 日,中国市占第一的消费级 AR 品牌雷鸟创新发布大模型语音助手 Rayneo AI(beta 版),并通过雷鸟 X2 消费级真 AR 眼镜内测上线。
大模型落地到当前这个阶段,核心关注点还是领域大模型,而领域大模型落地的前提在于两点:需求端,对当前应用的降本增效以及新应用的探...
作者:xixi 编辑:李宝珠、三羊 2023 年 12 月 21 日,由 HyperAI超神经参与编撰的「可信开源大模型案例集汇编(第一期)」在 2024 中国...
自 ChatGPT 重磅推出以来,大语言模型 (large language Model, LLM) 以其卓越的学习能力在各个领域引起轰动。大模型的训练和调优离不开...
科技媒体 VentureBeat 报道称,苹果公司在 2023 年 10 月低调发布了一款名为 Ferret 的开源多模态大语言模型,这是苹果与哥伦比亚大学研...
9月7日,在一年一度的腾讯全球数字生态大会上,腾讯自研的通用大语言模型混元大模型正式亮相,并宣布正式通过腾讯云对外开放。企业用户...
AI一路狂奔,距离ChatGPT诞生不过一年,中国就诞生了64个大模型,累计大模型数量达到130个,超过美国114个。
过去的一年时间已证明,AI 大模型并不是泡沫,作为新一代的生产力工具,它将成为数字化系统的标配,赋能产业数字化发展。
从 GPT-4V 的“惊艳亮相”,到 AI 视频生成工具 Pika 1.0 的“火爆出圈”,再到谷歌 Gemini 的“全面领先”,多模态 AI 都是其中的关键词。
作者:李宝珠 编辑:三羊 阿里达摩院联合国内外十余家医疗机构,发布 PANDA 大模型,实现胰腺癌早期筛查,在 2 万余真实世界连续病人群...
在上月的 vivo 开发者大会和 vivo X100 旗舰手机发布会两场活动上,vivo Watch 3 作为首发 vivo 自研蓝河操作系统的设备,看点十足。
作者:彬彬 编辑:李宝珠,三羊 清华大学研究团队提出了一种用于交流游戏的框架,展示了大语言模型从经验中学习的能力,还发现大语言模...
算力作为最为重要的生产力之一,已逐步成为和水、电、燃气一样的基础资源。特别是ChatGPT的爆火出圈,以大算力、大模型、大数据为核心的...