vLLM 是一款专为大语言模型推理加速而设计的框架,实现了 KV 缓存内存几乎零浪费,解决了内存管理瓶颈问题。
一、写在前面在 OpenAI o1 刚放出来时,它有限的技术报告里,有 2 个内容格外抓人眼球:Inference/test-time scalingRL我一直是把这 2 ...
2023 年 12 月,谷歌 DeepMind 在「Nature」上发布其在材料化学领域的深度学习模型 GNoME,宣称发现了 220 万种新的无机材料的晶体结构...
过去的一年,多模态大模型不断给行业带来惊喜,随着生成式AI和大模型技术加速破圈,算力进入“建设为王”的新时代。
今天(1 月 22 日)凌晨,在白宫新闻发布会上,OpenAI CEO Sam Altman、软银 CEO 孙正义、甲骨文 (Oracle) CEO Larry Ellison 与特朗普...
2019 年 12 月,新冠疫情 (COVID-19) 突然爆发,这种由 SARS-CoV-2 病毒引起的疾病具有高度传染性,仅一个月时间,我国病例涉及人数就超...
上周 MiniMax 开源了他们 4560 亿参数的 MoE 大模型,其中一个亮点是这个模型是一个 Lightning Attention 和 Softmax Attention 的混合...
近年来,在深度学习等 AI 技术的辅助下,蛋白质结构预测领域发展迅猛,2024 年 10 月份,因为 AlphaFold,DeepMind 的 Demis Hassabis、...
从古至今,人类从未停止过与疾病的抗争,一款新药的出现可能挽救成千上万的生命,甚至还会延长人类的整体寿命。
「明年我们去法国接甲骨文回家」,2024 年 12 月下旬,安阳师范学院甲骨文信息处理教育部重点实验室的研究人员远赴法国,与法国国家图书...
自 “Prompt 工作手册” 发布以来,我持续研究大模型能力的应用及研发方法,结合产业发展,在研发框架和模型应用上有了新的思考,并形成了...
蛋白质作为生命的「工作分子」,其结构与功能研究需要耗费大量时间与资源,但 AI 技术的引入彻底改变了这一局面。通过深度学习模型,研...
当今,医疗资源紧张是困扰全球医疗系统的长期性问题,「医生荒」在基础保健和全科医学领域尤为突出。世界卫生组织预计,到 2030 年,全...
Transformer 模型,自 2017 年由 Vaswani 等人提出以来,在自然语言处理(NLP)领域引发了革命性的变革。这一模型的核心在于其独特的自...
「Meet AI4S」系列直播第 6 期将于 1 月 15 日 19:00 准时开播,HyperAI超神经有幸邀请到了南开大学统计与数据科学学院教授郑伟,他本次...
自 2004 年开源发布以来,LAMMPS 在材料建模领域得到了广泛应用,其全称为 Large-scale Atomic/Molecular Massively Parallel Simulator...
去年 11 月,腾讯推出 Hunyuan3D 生成模型,是业界首个同时支持文字和图像生成 3D 的开源大模型。紧接着不到一个月,微软便发布了全新框...
2024 年尾,国际人工智能顶会「第 39 届人工智能年会」(The 39th Annual AAAI Conference on Artificial Intelligence, AAAI 2025) 公布...
最近在 SGlang 仓库下做了一段时间的开发和学习,对 SGLang 的一些比较新的 Feature 也开始有一些了解。这篇文章就是尝试来梳理一下 SGL...
触觉感知是智能机器人和人机交互的重要能力之一,但如何实现高精度、快速响应的触觉传感仍然面临诸多挑战。传统触觉传感器在力的测量中...
老者摸着胡须,目光炯炯望着我:刚刚我看路边有人弄丢了几把铲子,想必是你弄丢的,那让我来考考你,你丢的是这把金铲子,还是这把银铲...
12 月 28 日,上海已经进入初冬,寒冷的天气也抵挡不住大家的热情,现场座无虚席,交流氛围浓烈,从行业挑战到技术创新,从应用场景到落...
缩放定律(Scaling Law)为深度学习模型的设计和训练提供了理论指导,特别是在构建和训练大规模模型时,如何有效地分配有限的计算资源以...
博客来源:[链接] by Linda Wang, Evan Smothers, Kartikay Khandelwal 这里做了翻译可以帮助读者了解如何对 LLM 做知识蒸馏。总结来说...
在麻省理工学院 4 号楼的地下室,有一个被学生们称为「创新的摇篮」的实验室——4-061 实验室。在这里,Donald Sadoway 教授自 1990 年代...
近年来,文生图(T2I)模型技术迅速发展,催生了 Dreamina、DALL·E3 和 Midjourney 等热门工具。它们能够精准理解用户的 prompt(提示词...
vLLM 是一款专为大语言模型推理加速而设计的框架,实现了 KV 缓存内存几乎零浪费,解决了内存管理瓶颈问题。
以 AlphaFold 为代表的 AI 系统,能够以前所未有的精度预测蛋白质三维结构,为理解蛋白质功能和开发靶向药物提供了革命性工具。在药物研...
「我以为我只有 10% 的机会获得诺贝尔化学奖」,得知获奖消息后,John Jumper 在电话采访中笑着说道。他的语气中带着谦逊与感慨,而这份...
「CASP14 赛前,很多课题组看到 DeepMind 来参赛,觉得他们带来的成果可能和上次 (CASP13) 差不多,大家都没太当回事」,南开大学郑伟教...