这一周完成了 vllm 迁移到 SGLang 的工作，其实迁移本身非常简单，基本上将之前 vllm 的 serving 指令更换为 SGLang 的 serving 指令即...
本文介绍来自华为诺亚方舟实验室、清华大学和香港中文大学联合在大语言模型量化上的最新工作 FlatQuant (Fast and Learnable Affine Tra...
大家好，今天我们继续vllm源码的解析，一起来看下它最近总是被频繁提起、也是较不好理解的一个创新点：Prefix Caching（本文同时也是Blo...
新年伊始，Sora的发布将人工智能的讨论度推到了新高。Sora是什么、怎么做到的、和竞品的不同，以及后续产生的影响，构成层出不穷的话题。
大语言模型 (Large Language Models, LLMs) 在不同领域都表现出了优异的性能。然而，对于非AI专家来说，制定高质量的提示来引导 LLMs 是...
今年两会上，全国政协委员、中国科学院计算技术研究所研究员、益企研究院首席专家顾问张云泉提交了关于“东数西算”工程高质量发展、破解...
由 NVIDIA 中国推出的人工智能类音频节目再次开讲啦，在这里，你将与 NVIDIA 共同见证人工智能的磅礴力量与无限可能！
Apple BNNS 库由一组函数构成，这些函数用来构建推理（和训练）过程中的神经网络。macOS、iOS、tvOS 和 watchOS 支持 Apple BNNS。 BNNS...
大型语言模型构建在基于Transformer的架构之上来处理文本输入, LLaMA 系列模型在众多开源实现中脱颖而出。类似LLaMa的Transformer可以用...
对比什么技巧都不用, 直接像使用搜索引擎一样提问, 上面的技巧对于回复的效果确实有着 明显提升. 在看了 N 多的所谓 “必看的 Prompt 10 ...
1.前言： 年前在极术社区收到了聆思的直播邀请函，在直播里清楚的看到了聆思套件的简单上手，顺便设想了一下该种套件在实际项目领域...
为了让法律服务深入到每个人的身边，让更多的人能够得到法律帮助，开启了【律知】这个项目, 致力于打造一系列引领法律智能化的大模型。A...
做为第一次接触到聆思大模型AI开发套件，收到开发套件很精美，外设已经连接好上电即可使用了。一、初步环境搭建：在官方的文档中[链接]...
近日，字节跳动正式推出「Coze 扣子」AI Bot 开发平台。任何用户都可以快速、低门槛地搭建自己的 Chatbot，且平台支持用户将其一键发布...
在大模型训练的 RLHF 阶段，需要人工对模型生成的多份数据进行标注排序，然而目前缺乏开源可用的 RLHF 标注平台。
2.目标 2.1.简单大模型问答流程搭建 2.2.问题领域分支SWITCH 2.3.大模型知识库（行政管理）问答流程搭建 2.4.借助文心一言进行财务管理...
上一篇《大模型赋能开发板被这家公司玩明白了》 我们已经详细介绍了聆思大模型 AI 开发套件以及聆思大模型平台，并实操了基于LLM_contro...
目前大多数开源的ChatLLM项目使用的是其他模型（如：ChatGPT）生成的指令数据，其不可避免的存在数据幻想的问题，数据幻想问题将严重影...
年前的 1 月 27 日，「甲子光年」参加了一场 AI 生成视频主题的沙龙，会上有一个有趣的互动：AI 视频生成多快迎来 “Midjourney 时刻”？
今天，清华系大模型公司「面壁智能」发布了首款终端旗舰大模型“面壁MiniCPM”，面壁智能给它起了个响亮的名字——“小钢炮”。
刚刚过去的 2023 年是大模型元年，在国产大模型数量狂飙突进的同时——已经超过 200 个，“套壳”一直是萦绕在大模型头上的舆论阴云。
介绍：首先在 Ziya-LLaMA-13B-V1基线模型的基础上加入中医教材、中医各类网站数据等语料库，训练出一个具有中医知识理解力的预训练语言...
作为人类赖以生存和发展的物质基础，生态环境对人类健康的影响是潜移默化的。近年来，除了力促医疗技术提升、着力完善社保体系等方面外...
进入2023年以来，ChatGPT的成功带动了国内大模型的快速发展，从通用大模型、垂直领域大模型到Agent智能体等多领域的发展。但是生成式大...
“万物互联”是最近几年听得最多的概念，在AI时代大模型涌现的洪流之下，借助先进的大模型工具，智能硬件变得更加智能，今天，让我们一起...
春节期间，OpenAI的最新技术成果——文生视频模型Sora惊艳登场，令海内外的AI从业者、投资人彻夜难眠。
英伟达推出了自家版本的ChatGPT，名字很有GPU的味道——Chat With RTX。英伟达的这款AI聊天机器人和目前主流的“选手”有所不同。它并非是在...
Sora文生视频模型深度剖析：全网独家指南，洞悉98%关键信息，纯干货Sora是一个以视频生成为核心的多能力模型，具备以下能力：文/图生成...
由于在AI生成视频的时长上成功突破到一分钟，再加上演示视频的高度逼真和高质量，Sora立刻引起了轰动。在Sora横空出世之前，Runway一直...
在过去一两年里，以GPT和Diffusion model为代表的大语言模型和生成式AI，将人们对AI的期待推向了一个新高峰，并吸引了千行百业尝试在业...
传说中GPT-4的“致胜法宝”——MoE（混合专家）架构，自己也能手搓了！Hugging Face上有一位机器学习大神，分享了如何从头开始建立一套完整...
还有谁不知道“假装”给ChatGPT小费可以让它服务更卖力？但你知道给多少最合适吗？笑不活了，还真有人专门研究了一番。方法简单粗暴，从0....
GRU（Gate Recurrent Unit）门控循环单元，是[循环神经网络]（RNN）的变种种，与 LSTM 类似通过门控单元解决 RNN 中不能长期记忆和反向...
AI 应用
开发平台
阿里云倚天
AVH on 百度云
龙蜥操作系统
Arm STEM 教育
星辰教学平台
安谋科技XPU
Arm 大计算
SoC 芯片设计
IoT 与嵌入式
教育与职场
全球资源
SegmentFault
移知
安芯教育
OPEN AI LAB
InfoQ
深圳湾
脑极体
甲子光年
半导体行业观察
爱集微
E 企研究院
CSDN
全志在线
LiveVideoStack 
智东西
