这一周完成了 vllm 迁移到 SGLang 的工作，其实迁移本身非常简单，基本上将之前 vllm 的 serving 指令更换为 SGLang 的 serving 指令即...
本文介绍来自华为诺亚方舟实验室、清华大学和香港中文大学联合在大语言模型量化上的最新工作 FlatQuant (Fast and Learnable Affine Tra...
大家好，今天我们继续vllm源码的解析，一起来看下它最近总是被频繁提起、也是较不好理解的一个创新点：Prefix Caching（本文同时也是Blo...
当今移动设备上的大多数人工智能 (AI) 工作负载均可在 Arm CPU 上运行。在智能手机领域，基于 Armv9 CPU 技术构建的 AI 旗舰智能手机立...
近期大规模预训练的文本到图像扩散模型的发展显著提高了高保真图像的生成，特别是基于 Transformer 架构的扩散模型（DiTs）的出现。在这...
SWIFT支持了开源模型，尤其是中小型模型（7B、14B等）对Agent场景的训练，并将loss-scale技术应用到agent训练中，使中小模型API Call能...
本文介绍我们针对大语言模型量化的工作 IntactKV，可以作为插件有效提升GPTQ、AWQ、QuaRot等现有主流量化方法效果。论文作者来自清华大...
大语言模型很强大，就像人类的大脑一样拥有思考的能力。如果人类只有大脑，没有四肢，没有工具，是没办法与世界互动的。如果我们能给大...
5月15日，中国科技产业智库「甲子光年」在北京中关村东升科技园万丽酒店举办「AI创生时代——2024甲子引力X科技产业新风向」大会。甲子光...
但也有很多认知没有收敛：AI基础模型技术是否放缓？信仰技术还是信仰市场？Killer App（杀手级应用）如何出现？先发优势还是后发优势？...
LLM 大模型学习必知必会系列(三)：LLM和多模态模型高效推理实践1.多模态大模型推理LLM 的推理流程：多模态的 LLM 的原理：代码演示：使...
“不是我不明白，这世界变化快”，崔健在20世纪写下的这句歌词，放在公有云市场也同样适用。技术风向的变化之快，让不少人感到惊讶。
处在生成式人工智能（GenAI）技术变革的浪潮上，人们对这一将降低成本和产生利润的强大工具充满了期待。然而，ChatGPT爆火一年后，GenAI...
作者：Arm 工程部首席软件工程师 Gian Marco Iodice；Arm 工程部软件工程师 Adnan AlSinan
回到搜索引擎本身，搜索引擎的早期出现是为了解决互联网上信息过载的问题。随着互联网的快速发展，越来越多的网页被创建并发布，用户需...
在智能科技的浪潮中，近两年快速崛起的生成式人工智能（AI），已成为推动手机行业发展的关键力量。在5月7日的MediaTek 天玑开发者大会（...
今天小编给大家介绍Thomas Vikstrom的人工舌头项目，该项目使用水质传感器来测量液体的浊度，并通过一个机器学习模型在Seeed Studio WIO...
导语：【大模型安全初探】是由腾讯朱雀实验室推出的，针对大模型AI安全前沿风险的系列研究。本文主要解读分析OpenAI最新推出的大型模型G...
在本系列文章《LLM推理入门指南①：文本生成的初始化与解码阶段》中，作者对Transformer解码器的文本生成算法进行了高层次概述，着重介绍...
3 月中旬，谷歌宣布 Google I/O 定档北京时间 5 月 15 日凌晨 1 点。而当大会开幕时间临近，本应是讨论度最高的时候，「宿敌」OpenAI 却...
从 5 月初爆出将在 9 日发布搜索引擎；到 5 月 11 日，官宣将在当地时间 5 月 13 日 10 时发布 ChatGPT 与 GPT-4 更新；再到 Sam Altman...
在本系列文章《LLM推理入门指南①：文本生成的初始化与解码阶段》中，作者对Transformer解码器的文本生成算法进行了高层次概述，着重介绍...
随着生成式AI的火热发展，高企的语言大模型（LLM）推理性能和成本成为阻碍其大规模应用的关键挑战。LLM推理是指使用仅解码器Transformer...
寒假在家练活动项目新鲜出炉，今天给大家带来的是参赛选手刘鹏的ESP32S3 Sense接入语音识别+MiniMax模型对话方案，该项目将嵌入式技术与...
本文研究了大型语言模型（LLMs）在移动和边缘设备上的推理加速问题，这一问题在现实应用中具有重要意义。随着大型语言模型在多种任务中...
当地时间 5 月 8 日，Google DeepMind 联合其子公司 Isomorphic Labs 重磅发布 AlphaFold 3。
去年以来，“新质生产力”已成为中国经济领域的一个“高频词”。在今年《政府工作报告》列出的十项政府工作中，“大力推进现代化产业体系建设...
魔搭 ModelScope 欢迎各个开源的 LLM 模型在社区上做开源分享。目前社区上已经承载了来自各个机构贡献的不同系列的 LLM 模型。并且社区...
在过去一年中，通义千问系列模型持续开源。不仅频繁放出多种版本，涉及不同的规模和模态，成绩在大模型竞技场中也名列前茅。比如目前最...
在大模型爆发的时代，快速准确地从大量数据中检索出有价值的信息变得至关重要。检索增强生成（RAG）技术，结合了传统的信息检索和最新的...
基于 ChatGLM 等大语言模型与 Langchain 等应用框架实现，开源、可离线部署的检索增强生成(RAG)大模型知识库项目。
异常GPT是第一种基于视觉大模型（LVLM）的工业异常检测方法，该方法可以在不需要手动指定阈值的情况下检测工业图像中的异常。现有的工业...
自ChatGPT为代表的大语言模型（Large Language Model, LLM）出现以后，由于其惊人的类通用人工智能（AGI）的能力，掀起了新一轮自然语言...
AI 应用
开发平台
阿里云倚天
AVH on 百度云
龙蜥操作系统
Arm STEM 教育
星辰教学平台
安谋科技XPU
Arm 大计算
SoC 芯片设计
IoT 与嵌入式
教育与职场
全球资源
SegmentFault
移知
安芯教育
OPEN AI LAB
InfoQ
深圳湾
脑极体
甲子光年
半导体行业观察
爱集微
E 企研究院
CSDN
全志在线
LiveVideoStack 
智东西
