宣传一下我们的工作I-LLM，（据我们所知）这是第一个在LLM上实现了integer-only量化的方法，精度逼近浮点，超过Smooth/Omini/Affine Qua...
DISC-FinLLM 是一个专门针对金融场景下为用户提供专业、智能、全面的金融咨询服务的金融领域大模型，
看了一些关于Prefix Caching的文章，感觉没有讲得很清晰。最近正好自己也想整理一下相关的技术，因此有了本篇文章。希望结合vLLM Automa...
prompt（提示词）是我们和 LLM 互动最常用的方式，我们提供给 LLM 的 Prompt 作为模型的输入，并希望 LLM 反馈我们期待的结果。 虽然 LL...
在模型训练过程中，数据及数据处理是最为重要的工作之一。在当前模型训练流程趋于成熟的情况下，数据集的好坏，是决定了该次训练能否成...
本文内容，来自蚂蚁集团异构计算与推理引擎负责人-赵军平老师，在AICon全球人工智能开发与应用大会上的演讲ppt。
模型的推理过程是一个复杂函数的计算过程，这个计算一般以矩阵乘法为主，也就是涉及到了并行计算。一般来说，单核CPU可以进行的计算种类...
训练后的模型会用于推理或者部署。推理即使用模型用输入获得输出的过程，部署是将模型发布到恒定运行的环境中推理的过程。一般来说，LLM...
前言多模态交互离不开硬件载体，目前国内接了大模型体验最好的开发板应该是聆思CSK6大模型开发板了，不仅官方提供了已经集成讯飞星火认...
当今移动设备上的大多数人工智能 (AI) 工作负载均可在 Arm CPU 上运行。在智能手机领域，基于 Armv9 CPU 技术构建的 AI 旗舰智能手机立...
近期大规模预训练的文本到图像扩散模型的发展显著提高了高保真图像的生成，特别是基于 Transformer 架构的扩散模型（DiTs）的出现。在这...
SWIFT支持了开源模型，尤其是中小型模型（7B、14B等）对Agent场景的训练，并将loss-scale技术应用到agent训练中，使中小模型API Call能...
本文介绍我们针对大语言模型量化的工作 IntactKV，可以作为插件有效提升GPTQ、AWQ、QuaRot等现有主流量化方法效果。论文作者来自清华大...
大语言模型很强大，就像人类的大脑一样拥有思考的能力。如果人类只有大脑，没有四肢，没有工具，是没办法与世界互动的。如果我们能给大...
5月15日，中国科技产业智库「甲子光年」在北京中关村东升科技园万丽酒店举办「AI创生时代——2024甲子引力X科技产业新风向」大会。甲子光...
但也有很多认知没有收敛：AI基础模型技术是否放缓？信仰技术还是信仰市场？Killer App（杀手级应用）如何出现？先发优势还是后发优势？...
LLM 大模型学习必知必会系列(三)：LLM和多模态模型高效推理实践1.多模态大模型推理LLM 的推理流程：多模态的 LLM 的原理：代码演示：使...
“不是我不明白，这世界变化快”，崔健在20世纪写下的这句歌词，放在公有云市场也同样适用。技术风向的变化之快，让不少人感到惊讶。
处在生成式人工智能（GenAI）技术变革的浪潮上，人们对这一将降低成本和产生利润的强大工具充满了期待。然而，ChatGPT爆火一年后，GenAI...
作者：Arm 工程部首席软件工程师 Gian Marco Iodice；Arm 工程部软件工程师 Adnan AlSinan
回到搜索引擎本身，搜索引擎的早期出现是为了解决互联网上信息过载的问题。随着互联网的快速发展，越来越多的网页被创建并发布，用户需...
在智能科技的浪潮中，近两年快速崛起的生成式人工智能（AI），已成为推动手机行业发展的关键力量。在5月7日的MediaTek 天玑开发者大会（...
今天小编给大家介绍Thomas Vikstrom的人工舌头项目，该项目使用水质传感器来测量液体的浊度，并通过一个机器学习模型在Seeed Studio WIO...
导语：【大模型安全初探】是由腾讯朱雀实验室推出的，针对大模型AI安全前沿风险的系列研究。本文主要解读分析OpenAI最新推出的大型模型G...
在本系列文章《LLM推理入门指南①：文本生成的初始化与解码阶段》中，作者对Transformer解码器的文本生成算法进行了高层次概述，着重介绍...
3 月中旬，谷歌宣布 Google I/O 定档北京时间 5 月 15 日凌晨 1 点。而当大会开幕时间临近，本应是讨论度最高的时候，「宿敌」OpenAI 却...
从 5 月初爆出将在 9 日发布搜索引擎；到 5 月 11 日，官宣将在当地时间 5 月 13 日 10 时发布 ChatGPT 与 GPT-4 更新；再到 Sam Altman...
在本系列文章《LLM推理入门指南①：文本生成的初始化与解码阶段》中，作者对Transformer解码器的文本生成算法进行了高层次概述，着重介绍...
随着生成式AI的火热发展，高企的语言大模型（LLM）推理性能和成本成为阻碍其大规模应用的关键挑战。LLM推理是指使用仅解码器Transformer...
寒假在家练活动项目新鲜出炉，今天给大家带来的是参赛选手刘鹏的ESP32S3 Sense接入语音识别+MiniMax模型对话方案，该项目将嵌入式技术与...
AI 应用
安谋科技自研产品
Arm 计算
SoC 芯片设计
IoT 与嵌入式
教育与职场
全球资源
SegmentFault
移知
安芯教育
InfoQ
深圳湾
脑极体
甲子光年
半导体行业观察
爱集微
E 企研究院
CSDN
全志在线
智东西
