这一周完成了 vllm 迁移到 SGLang 的工作，其实迁移本身非常简单，基本上将之前 vllm 的 serving 指令更换为 SGLang 的 serving 指令即...
本文介绍来自华为诺亚方舟实验室、清华大学和香港中文大学联合在大语言模型量化上的最新工作 FlatQuant (Fast and Learnable Affine Tra...
大家好，今天我们继续vllm源码的解析，一起来看下它最近总是被频繁提起、也是较不好理解的一个创新点：Prefix Caching（本文同时也是Blo...
Continuous Batching现已成为大型模型推理框架的关键技术，也是框架性能优化的主战场。通过将多个在线请求进行批处理（Batching），可以...
随着产业界对模型落地的态度逐渐回归理性，企业客户的认知从原来的“觉得大模型什么都能做”的阶段，已经收敛到“大模型能够给自身业务带来...
去年十月，美商务部禁令的出现，使中国客户无法使用NVIDIA H100/H200旗舰芯片。一时间，各种NV存货、中国限定卡型、其他厂商NPU纷至沓来...
大模型是一种利用海量数据进行训练的深度神经网络模型，其特点是拥有庞大的参数规模和复杂的计算结构。通过在大规模数据集上进行训练，...
今年的《政府工作报告》中，“大力推进现代化产业体系建设，加快发展新质生产力”，被列为2024年十大工作任务之首。
卡塔尔世界杯自 2010 年荣膺举办权，直至 2022 年辉煌成功举办，累计投入资金高达约 2,290 亿美元。相较之下，此前七届世界杯的总花费仅...
大家好，今天想来介绍下当红推理框架vLLM的核心技术PagedAttention。PagedAttention的设计灵感来自操作系统的虚拟内存分页管理技术。vLL...
本次公开课为极术社区2024年大模型系列第一场公开课，由安谋科技技术专家Alex Shang分享。 公开课探讨了大模型及生成式AI出现对智能物联...
最近在调研 PyTorch 的一些 features，偶然发现了一些有意思的小细节，小小记录下心得。ZeroRedundancyOptimizer 优化器是 PyTorch1.10 ...
今日（3月28日），深圳市工业和信息化局与中国软件行业协会联合多家单位，在深圳宝安国际会展中心举办2024中国（深圳）智能网联汽车发展...
“Mora: Enabling Generalist Video Generation via A Multi-Agent Framework”
在1950年代初期，人们开始尝试使用计算机处理自然语言文本。然而，由于当时的计算机处理能力非常有限，很难处理自然语言中的复杂语法和...
从ChatGPT诞生起，大模型在营销、客服等场景的落地就被予以众望。然而在经历了一年多的“百模大战”洗礼之后，人们发现无论是算力成本还是...
[大语言模型的预训练[3]之Prompt Learning：Prompt Engineering、Answer engineering、Multi-prompt learning详情]([链接])
聆思大模型 AI 开发套件（CSK6-MIX）不仅提供了完善的多模态大模型调用功能，还提供了丰富的本地外设接口，可以通过端侧结合大模型来实...
前段时间拿到了一个AI套件的试用，最近正好赶上智谱也有免费TOKEN的活动，就打算看看两者结合起来效果如何。今天只是简单的一个流程上的...
结构化的思想很普遍，结构化内容也很普遍，我们日常写作的文章，看到的书籍都在使用标题、子标题、段落、句子等语法结构。结构化 Prompt...
2024-03-28 周四 20:00 开播 回顾中
于是我很想验证这个“说法”，所以我决定在我的 Raspberry Pi 4 上使用 Ollama 本地运行大语言模型。
在工业化飞速发展的大环境下，地球正面临着一个严峻而急迫的问题一一过度的二氧化碳排放。二氧化碳就像是一层无形的厚茧裹住了人类赖以...
北京时间3月18日早上，马斯克旗下 AI 初创公司 xAI 宣布，其研发的大模型Grok-1其大语言模型Grok-1已实现开源，并向公众开放下载。感兴...
1.板子发送post请求。stable diffusion webui 这边图片默认是512\\_512 .板子内存有限。需要flask 接收图片后进行一次缩放到240\\_240.(...
本文特别鸣谢字节跳动 Crane佬解答了我对SWA的疑惑0 前言 1 Mistral 7B 模型 1.1 SWA(Sliding Window Attention)2 Mixtral 8x7B(MoE...
2023 年 5 月，天津市津南区八里台镇凤锦庭院的业主「胆战心惊」，从远处看，自己家 25 层高的楼房「好像歪了」。更让业主们恐慌的是，...
LLaMA全称是Large Language Model Meta AI，是由Meta AI研究人员发布的一个预训练语言模型。与最近爆火的ChatGPT相比，LLaMA架构更小，...
用计算机类比的话，在这套框架内，LLM扮演的是CPU的角色，langchain扮演的是主板，为其提供内存、磁盘等设备，使其完成更多复杂的功能。
左图右图 prompt 基本是一样的，差别只在提示工程这个词是否用中英文表达。我们看到，一词之差，回答质量天壤之别。为了获得理想的模型...
从暴雨、洪涝、干旱、飓风、森林火灾等气候极端事件频率的增加，到极地冰川融化导致的海平面上升，再到生物多样性的丧失和水资源压力的...
大模型漏洞修复插件是腾讯朱雀实验室在安全垂类场景的一个重要实践。我们希望通过AI大模型，实现研发安全场景的漏洞自动修复，给出修复...
随着 OpenAI 最新 Sora 的火爆出圈，Diffusion Transformer 无疑将成为继 Stable Diffusion 后最出圈的模型结构。Diffusion Transformer...
AI 应用
开发平台
阿里云倚天
AVH on 百度云
龙蜥操作系统
Arm STEM 教育
星辰教学平台
安谋科技XPU
Arm 大计算
SoC 芯片设计
IoT 与嵌入式
教育与职场
全球资源
SegmentFault
移知
安芯教育
OPEN AI LAB
InfoQ
深圳湾
脑极体
甲子光年
半导体行业观察
爱集微
E 企研究院
CSDN
全志在线
LiveVideoStack 
智东西
