这一周完成了 vllm 迁移到 SGLang 的工作，其实迁移本身非常简单，基本上将之前 vllm 的 serving 指令更换为 SGLang 的 serving 指令即...
本文介绍来自华为诺亚方舟实验室、清华大学和香港中文大学联合在大语言模型量化上的最新工作 FlatQuant (Fast and Learnable Affine Tra...
大家好，今天我们继续vllm源码的解析，一起来看下它最近总是被频繁提起、也是较不好理解的一个创新点：Prefix Caching（本文同时也是Blo...
在无线通信中，信号经由无线信道传递通常会受到能量衰减、噪声干扰等影响，导致用户侧接收到的信号与基站发出的信号存在一定程度的变化...
北京时间7月30日清晨，英伟达创始人兼CEO黄仁勋与Meta创始人兼CEO马克·扎克伯格，在美国丹佛举行的第50届SIGGRAPH图形大会上完成了一场6...
本文介绍如何用 TVM 自动量化（TVM 的一种量化方式）。有关 TVM 中量化的更多详细信息，参阅 此处。本教程将在 ImageNet 上导入一个 Glu...
扩散模型已成为高分辨率图像合成的主流方法，传统的扩散模型虽然在图像合成方面取得了显著进展，但在扩展到更高分辨率时往往面临对象重...
在分离式推理架构1中，我们以DistServe为例，解释了“为何要使用分离式推理架构”：分离式推理架构可以解耦prefill（compute-bound）和dec...
MaxKB = Max Knowledge Base，是一款基于 LLM 大语言模型的开源知识库问答系统，旨在成为企业的最强大脑。它能够帮助企业高效地管理知识...
细胞色素 P450 酶几乎于所有生物体中普遍存在，在生命成长和发育的各种代谢过程中发挥着重要作用。作为自然界中最通用的生物催化剂，P45...
Agent是以大模型为核心的智能体，通过与用户对话的形式，来完成各种任务，它很像一个“人”。如果和人做类比，它应该具备以下能力：
大语言模型 (LLM) 在内的 AI 工具正逐渐改变科学范式，被 Nature 列为 2024 年值得关注的科学事件之一。 作为文本数据挖掘领域的核心工...
7月18日，由中国智能计算产业联盟与全国信标委算力标准工作组共同主办的2024中国算力发展专家研讨会在京召开。中国科学院院士陈润生，中...
在 5 月 15 日召开的百度 Apollo Day 2024 上，百度自动驾驶业务部总经理陈卓表示，萝卜快跑的目标是到 2024 年底在武汉实现收支平衡，...
业界广泛采用 FP16、BF16 混合精度（AMP）进行模型训练。AMP 能在下游任务不掉点的前提下提升训练效率、减少显存等资源占用，如今也常用...
7月18日，由中国智能计算产业联盟与全国信标委算力标准工作组共同主办的2024中国算力发展专家研讨会在京召开。众多计算产业链顶尖院士、...
文字是文明的标志，也是一个民族最显著的印记。甲骨文 (OBS) 作为我国已知最早且成系统的文字，承载着中华民族一脉相承的文化与文明。从...
为推进 AI4S 的普适化，降低学术机构科研成果的传播壁垒，为更多行业学者、科技爱好者及产业单位提供交流平台，HyperAI超神经策划了「Me...
初识langchain：LLM大模型+Langchain实战[qwen2.1、GLM-4]+Prompt工程1.大模型基础知识大模型三大重点：算力、数据、算法，ReAct （reas...
OpenAI 于 2020 年在论文「Scaling Laws for Neural Language Models」中首次提出 Scaling Laws，它被看作是大语言模型的摩尔定律。其释...
在人工智能的浪潮中，数据中心作为智能世界的基石，正经历着前所未有的变革。随着技术的飞速发展，AI算力需求的激增，数据中心的架构、...
在深度学习领域，大模型的训练和推理通常需要消耗大量的计算和内存。如何高效地加载和使用大模型是一个相当关键的问题。在这篇博客中，...
多模态交互离不开硬件载体，近期有不少开发者在研究大模型开发板除了使用出厂示例自带的星火大模型，能不能接入文心一言、通义千问、豆...
2024/06/17 updates：本文之前题目是《告别DeepSpeed-Ulysses，来用Odysseus：重新审视大模型序列并行技术》，试图对Ulysses进行优化，...
OSGraph (Open Source Graph) 是一个开源图谱关系洞察工具，基于GitHub开源数据全域图谱，实现开发者行为、项目社区生态的分析洞察。可...
大家好，最近Kimi开源了它的推理架构Mooncake的技术报告，让分离式推理架构的关注度一下升了起来。所以在这个系列中，我打算写一写关于...
MetaGPT 以一条需求作为输入，并输出用户故事/竞争分析/需求/数据结构/API/文档等。内部而言，MetaGPT 包含产品经理/架构师/项目经理/工...
在学术探索的浩瀚星空中，机器人技术领域的璀璨明珠莫过于Agent技术的深入研究，这一领域历来是创新与突破的温床。回溯至大模型浪潮兴起...
Agent：“代理” 通常是指有意行动的表现。在哲学领域，Agent 可以是人、动物，甚至是具有自主性的概念或实体。
随着大型模型在各行各业的广泛应用，开源大模型生态正在快速发展。研究开源大模型不仅是人类不断接近人工通用智能（AGI）的重要探索之一...
玉米是我国主要粮食作物，种植区域广泛，玉米在不同生长阶段都需要进行病虫害防治。玉米锈病主要侵害叶片，也为害玉米苞叶和叶鞘，严重...
使用煤矿历史事故案例，事故处理报告、安全规程规章制度、技术文档、煤矿从业人员入职考试题库等数据，微调internlm2模型实现针对煤矿事...
作为细胞内无数生化反应的驱动力，蛋白质在细胞微观世界中扮演着建筑师和工程师的角色，不仅催化着生命活动，更是构筑、维系生物体形态...
AI 应用
开发平台
阿里云倚天
AVH on 百度云
龙蜥操作系统
Arm STEM 教育
星辰教学平台
安谋科技XPU
Arm 大计算
SoC 芯片设计
IoT 与嵌入式
教育与职场
全球资源
SegmentFault
移知
安芯教育
OPEN AI LAB
InfoQ
深圳湾
脑极体
甲子光年
半导体行业观察
爱集微
E 企研究院
CSDN
全志在线
LiveVideoStack 
智东西
