自GPT-3首次提出了In-Context Learning(ICL)的概念而来，ICL目前已经变成了一种经典的LLMs使用方法。ICL，即In-Context Learning，是一...
在探索人类复杂心理世界的旅途中，科学与技术正携手开启一扇通往深层次理解的大门。数业智能心大陆AI大模型，作为这一领域的先锋，正以...
Chain-of-Thought(CoT)是一种改进的Prompt技术，目的在于提升大模型LLMs在复杂推理任务上的表现，如算术推理（arithmetic reasoning）、...
在生命的舞台上，蛋白质扮演着不可或缺的角色。它们是生物体中最为活跃的分子，参与细胞的构建、修复、能量转换、信号传递以及无数关键...
指令微调阶段使用了已标注数据。这个阶段训练的数据集数量不会像预训练阶段那么大，最多可以达到几千万条，最少可以达到几百条到几千条...
在今年的政府工作报告中，“人工智能+”首次被写入报告，同时“大力推进现代化产业体系建设，加快发展新质生产力”也被列为2024年的首项政府...
宣传一下我们的工作I-LLM，（据我们所知）这是第一个在LLM上实现了integer-only量化的方法，精度逼近浮点，超过Smooth/Omini/Affine Qua...
DISC-FinLLM 是一个专门针对金融场景下为用户提供专业、智能、全面的金融咨询服务的金融领域大模型，
看了一些关于Prefix Caching的文章，感觉没有讲得很清晰。最近正好自己也想整理一下相关的技术，因此有了本篇文章。希望结合vLLM Automa...
prompt（提示词）是我们和 LLM 互动最常用的方式，我们提供给 LLM 的 Prompt 作为模型的输入，并希望 LLM 反馈我们期待的结果。 虽然 LL...
在模型训练过程中，数据及数据处理是最为重要的工作之一。在当前模型训练流程趋于成熟的情况下，数据集的好坏，是决定了该次训练能否成...
本文内容，来自蚂蚁集团异构计算与推理引擎负责人-赵军平老师，在AICon全球人工智能开发与应用大会上的演讲ppt。
模型的推理过程是一个复杂函数的计算过程，这个计算一般以矩阵乘法为主，也就是涉及到了并行计算。一般来说，单核CPU可以进行的计算种类...
训练后的模型会用于推理或者部署。推理即使用模型用输入获得输出的过程，部署是将模型发布到恒定运行的环境中推理的过程。一般来说，LLM...
前言多模态交互离不开硬件载体，目前国内接了大模型体验最好的开发板应该是聆思CSK6大模型开发板了，不仅官方提供了已经集成讯飞星火认...
当今移动设备上的大多数人工智能 (AI) 工作负载均可在 Arm CPU 上运行。在智能手机领域，基于 Armv9 CPU 技术构建的 AI 旗舰智能手机立...
近期大规模预训练的文本到图像扩散模型的发展显著提高了高保真图像的生成，特别是基于 Transformer 架构的扩散模型（DiTs）的出现。在这...
SWIFT支持了开源模型，尤其是中小型模型（7B、14B等）对Agent场景的训练，并将loss-scale技术应用到agent训练中，使中小模型API Call能...
本文介绍我们针对大语言模型量化的工作 IntactKV，可以作为插件有效提升GPTQ、AWQ、QuaRot等现有主流量化方法效果。论文作者来自清华大...
大语言模型很强大，就像人类的大脑一样拥有思考的能力。如果人类只有大脑，没有四肢，没有工具，是没办法与世界互动的。如果我们能给大...
