这一周完成了 vllm 迁移到 SGLang 的工作，其实迁移本身非常简单，基本上将之前 vllm 的 serving 指令更换为 SGLang 的 serving 指令即...
本文介绍来自华为诺亚方舟实验室、清华大学和香港中文大学联合在大语言模型量化上的最新工作 FlatQuant (Fast and Learnable Affine Tra...
大家好，今天我们继续vllm源码的解析，一起来看下它最近总是被频繁提起、也是较不好理解的一个创新点：Prefix Caching（本文同时也是Blo...
上周，HyperAl超神经更新了 AlphaFold3 依赖数据库，但很多小伙伴都反映数据太大，部署困难。
扩散模型已经被证明在生成高质量图像方面非常有效。然而，随着这些模型的增大，它们需要更多的内存，并且延迟更高，这给部署带来了巨大...
在科研领域，常常会有某些技术因其突破性进展而成为时代的焦点，荣获 2017 年诺贝尔化学奖的冷冻电镜 (Cryo-EM) 正是这样的技术之一。比...
7月初，工信部、交通部等五部门联合发布《关于公布智能网联汽车“车路云一体化”应用试点城市名单的通知》，确定了北上广深等20个城市（联...
AI技术在众多应用中，自动驾驶无疑占据着耀眼的地位。对于AI领域的专业人士来说，自动驾驶不仅是技术巅峰的象征，更是他们追求的梦想，...
甲子智库在上一篇关于自动驾驶的文章中，简述了AI大模型技术在自动驾驶系统研发过程中的应用价值和重要性，并提到了特斯拉FSD V12带起的...
深度学习技术的持续进步已经为自动驾驶感知能力带来了革命性的提升。技术演进的每一步，从卷积神经网络（CNN）到循环神经网络（RNN），...
本文着重分析 OpenRLHF 中的PPO-Ray 训练架构设计，没有使用过 Ray 的朋友也可以通过本文快速上手，本文共分成四块：
3D 模型在游戏开发、影视动画、虚拟现实 (VR) 等多个行业和场景中发挥着重要作用，但现有的 3D 生成扩散模型在快速生成和泛化能力上仍存...
大多数常用的数据分块方法（chunking）都是基于规则的，采用 fixed chunk size（译者注：将数据或文本按照固定的大小进行数据分块）或 o...
Apache TVM 是一个端到端的深度学习编译框架，适用于 CPU、GPU 和各种机器学习加速芯片。更多 TVM 中文文档可访问 →Apache TVM 是一个端...
「Meet AI4S」系列直播第五期将于今晚 19:00 准时开播，HyperAI超神经有幸邀请到了浙江大学知识引擎实验室的博士研究生王泽元，他本次分...
不容否认，2024亚马逊云科技re:Invent全球大会依然是云计算和生成式AI领域的风向标。从云的角度，亚马逊云科技的每一个构建单元都持续增...
蛋白质不仅是人体生命活动的执行者，同时也在生物医药、食品加工、酿造业、化工业等多领域发挥着重要作用。所以，人们从未停止围绕蛋白...
近年来，高熵材料 (HEMs) 在材料设计和功能控制领域展现出巨大的潜力。其中，高熵氧化物 (HEOs) 由于丰富的活性位点、可调节的比表面积...
YOLO 模型一直是目标检测的经典之选。YOLOv11 作为新一代的目标检测模型，不仅延续了其系列的高效和实时性能，还大幅提升了检测精度和适...
过去几十年，基于片段的药物发现 (FBDD) 通过识别与靶标蛋白有微弱相互作用的小分子片段，并优化这些片段的结构信息，可以开发出活性更...
Megatron Sequence Parallelism：本质是想通过降低单卡激活值大小的方式，尽可能多保存激活值，少做重计算，以此提升整体训练速度，一般...
2012 年 12 月，AI 教父杰弗里·辛顿 (Geoffrey Hinton) 踏上了前往哈拉斯赌场之路，他此行的目的是卖掉刚刚成立的深度学习公司 DNNresea...
设想你正致力于构建一个智能问答系统，该系统旨在从庞大的知识库中迅速而精确地提取关键信息，并据此生成自然流畅的回答。然而，随着数...
「Meet AI4S」系列直播第五期将于 12 月 10 日 19:00 准时开播，HyperAI超神经有幸邀请到了浙江大学知识引擎实验室的博士研究生王泽元，...
近年来，伴随新基建引领的新一代信息技术在千行百业展开落地探索，「产学研用协同」频繁出现在政策文件、行业发展规划中，今年的政府工...
过去，人们走进校园的第一课便是学习正确的握笔姿势，进而从基础的阿拉伯数字与汉语拼音开始学习写字，再逐步进阶到汉字与英文。很多时...
随着 AI 技术在我们日常生活中的广泛应用，模型的「可解释性」逐渐成为一个亟待解决的问题。尤其是在涉及人类生命、财产安全等任务时，...
在人类与疾病的漫长斗争中，药物研发一直是科学探索的前沿阵地。其中，小分子药物因其易制备、细胞渗透性强、口服便捷、制造成本低等优...
这几天尝试读懂 SGLang sever arguments 和 feature，其中非常重要的一环是 Chunked Prefilling。我直接用 Claude 和 GPT 来尝试理解这...
地球科学作为一个高度跨学科的领域，正在经历一场由 AI 引领的重大变革。通过在海量地球科学数据中挖掘潜在信息、发现隐匿模式等，AI 不...
众所周知，麻辣系统博大精深。今天浅浅捋一捋 SGLang 实现的后端/ Runtime 框架，前端部分留作后文。
你能想象自己看到、想到，甚至是梦到的画面被可视化出来吗？这并非天马行空的想象，早在 2008 年，美国加州伯克利分校神经系统科学家 Ja...
近年来，AI for Science 发展提速，不仅为科研领域带来创新研究思路，同时也拓宽了 AI 的落地通路，为其提供了更多具有挑战性的应用场景...
AI 应用
开发平台
阿里云倚天
AVH on 百度云
龙蜥操作系统
Arm STEM 教育
星辰教学平台
安谋科技XPU
Arm 大计算
SoC 芯片设计
IoT 与嵌入式
教育与职场
全球资源
SegmentFault
移知
安芯教育
OPEN AI LAB
InfoQ
深圳湾
脑极体
甲子光年
半导体行业观察
爱集微
E 企研究院
CSDN
全志在线
LiveVideoStack 
智东西
