这一周完成了 vllm 迁移到 SGLang 的工作，其实迁移本身非常简单，基本上将之前 vllm 的 serving 指令更换为 SGLang 的 serving 指令即...
本文介绍来自华为诺亚方舟实验室、清华大学和香港中文大学联合在大语言模型量化上的最新工作 FlatQuant (Fast and Learnable Affine Tra...
大家好，今天我们继续vllm源码的解析，一起来看下它最近总是被频繁提起、也是较不好理解的一个创新点：Prefix Caching（本文同时也是Blo...
LLM 大模型学习必知必会系列(十三)：基于SWIFT的VLLM推理加速与部署实战1.环境准备GPU设备: A10, 3090, V100, A100均可. {代码...} 2.推...
LLM 大模型学习必知必会系列(八)：10分钟微调专属于自己的大模型1.环境安装 {代码...} 2.微调前推理使用python: {代码...} 如果你要进行...
近年来，大规模预训练模型正在引领新一轮人工智能浪潮。「大模型」通过从大规模、多来源的数据中提取深层次规律，进而能够作为「基础模...
本次公开课为极术社区2024年大模型系列第二场公开课，由安谋科技技术专家武大伟Dawei Wu分享。 本期公开课全面解析具身智能的核心概念以...
Modelscope 是一个交互式智能体应用基于ModelScope-Agent，用于方便地创建针对各种现实应用量身定制智能体，目前已经在生产级别落地。Ag...
大语言模型（LLM）评测是LLM开发和应用中的关键环节。目前评测方法可以分为人工评测和自动评测，其中，自动评测技术相比人工评测来讲，...
LLM 技术图谱（LLM Tech Map）是将 LLM 相关技术进行系统化和图形化的呈现，此图谱主要特点是“专注于技术人视角”，不求从 LLM 产业角度...
Large Language Model (LLM) 即大规模语言模型，是一种基于深度学习的自然语言处理模型，它能够学习到自然语言的语法和语义，从而可以生...
然而，目前在移动设备上运行的模型相对较小（苹果的是3B，谷歌的是2B），并且消耗大量内存，这在很大程度上限制了其应用场景。
深度学习领域所谓的“模型”，是一个复杂的数学公式构成的计算步骤。为了便于理解，我们以一元一次方程为例子解释：
由于LLM参数量都是在亿级以上，少则数十亿，多则数千亿。当我们想在用特定领域的数据微调模型时，如果想要full-tuning所有模型参数，看...
GPU很好，但不是大模型的全部。远比GPU诞生更早的中央处理器芯片——CPU，它在大模型中的地位可能被远远低估了。
过去的一年多，大模型风起云涌，不断迭代，作为一个多年 NLP 产品方向的从业者，可以说是享受其中，惊喜连连。记得22年底，那时疫情放开...
金融，是关乎老百姓钱袋子的国民经济血脉，更是国家核心竞争力的重要组成部分。AI，是当之无愧最具「活力」的行业，也是千行百业革故鼎...
在几个月前nv就发表过关于fp8数制训练和推理的白皮书，大概三四个月前公开了他们针对transformer模型的fp8训练的软件库TransformerEngin...
自GPT-3首次提出了In-Context Learning(ICL)的概念而来，ICL目前已经变成了一种经典的LLMs使用方法。ICL，即In-Context Learning，是一...
Chain-of-Thought(CoT)是一种改进的Prompt技术，目的在于提升大模型LLMs在复杂推理任务上的表现，如算术推理（arithmetic reasoning）、...
2024-06-20 周四 20:00 开播 回顾中
在生命的舞台上，蛋白质扮演着不可或缺的角色。它们是生物体中最为活跃的分子，参与细胞的构建、修复、能量转换、信号传递以及无数关键...
指令微调阶段使用了已标注数据。这个阶段训练的数据集数量不会像预训练阶段那么大，最多可以达到几千万条，最少可以达到几百条到几千条...
在今年的政府工作报告中，“人工智能+”首次被写入报告，同时“大力推进现代化产业体系建设，加快发展新质生产力”也被列为2024年的首项政府...
宣传一下我们的工作I-LLM，（据我们所知）这是第一个在LLM上实现了integer-only量化的方法，精度逼近浮点，超过Smooth/Omini/Affine Qua...
DISC-FinLLM 是一个专门针对金融场景下为用户提供专业、智能、全面的金融咨询服务的金融领域大模型，
看了一些关于Prefix Caching的文章，感觉没有讲得很清晰。最近正好自己也想整理一下相关的技术，因此有了本篇文章。希望结合vLLM Automa...
prompt（提示词）是我们和 LLM 互动最常用的方式，我们提供给 LLM 的 Prompt 作为模型的输入，并希望 LLM 反馈我们期待的结果。 虽然 LL...
在模型训练过程中，数据及数据处理是最为重要的工作之一。在当前模型训练流程趋于成熟的情况下，数据集的好坏，是决定了该次训练能否成...
本文内容，来自蚂蚁集团异构计算与推理引擎负责人-赵军平老师，在AICon全球人工智能开发与应用大会上的演讲ppt。
模型的推理过程是一个复杂函数的计算过程，这个计算一般以矩阵乘法为主，也就是涉及到了并行计算。一般来说，单核CPU可以进行的计算种类...
训练后的模型会用于推理或者部署。推理即使用模型用输入获得输出的过程，部署是将模型发布到恒定运行的环境中推理的过程。一般来说，LLM...
前言多模态交互离不开硬件载体，目前国内接了大模型体验最好的开发板应该是聆思CSK6大模型开发板了，不仅官方提供了已经集成讯飞星火认...
AI 应用
开发平台
阿里云倚天
AVH on 百度云
龙蜥操作系统
Arm STEM 教育
星辰教学平台
安谋科技XPU
Arm 大计算
SoC 芯片设计
IoT 与嵌入式
教育与职场
全球资源
SegmentFault
移知
安芯教育
OPEN AI LAB
InfoQ
深圳湾
脑极体
甲子光年
半导体行业观察
爱集微
E 企研究院
CSDN
全志在线
LiveVideoStack 
智东西
