今天我们来总结以下大型语言模型面试中常问的问题1、哪种技术有助于减轻基于提示的学习中的偏见?A.微调 Fine-tuningB.数据增强 Data aug...
衰老，从古至今困扰了无数仁人志士。无论是千古一帝秦始皇，还是雄才大略汉武帝，亦或者挥斥方遒唐太宗，这些伟大的帝王无一例外的都留...
Text-to-SQL（或者Text2SQL），顾名思义就是把文本转化为SQL语言，更学术一点的定义是：把数据库领域下的自然语言（Natural Language，N...
根据国家卫生健康委员会发布的《卵巢癌诊疗指南（2022 版）》，我国卵巢癌年发病率居女性生殖系统肿瘤第 3 位，仅次于子宫颈癌和子宫体...
在本篇文章我们将详细讨论推测解码，这是一种可以将LLM推理速度提高约2 - 3倍而不降低任何准确性的方法。我们还将会介绍推测解码代码实...
AiStudio是一个很好的学习平台，我相信无时无刻都有很多像我一样的小白出于对人工智能的兴趣，而汇聚在这里。这一次，我想做一个入门级...
2024 年 2 月，OpenAI 又一次站在了镁光灯下，Sora 横空出世并引发热烈讨论，「文生视频」的热潮被那段 60 秒的展示视频再度推高，也使...
如果你一直在关注大型语言模型的架构，你可能会在最新的模型和研究论文中看到“SwiGLU”这个词。SwiGLU可以说是在大语言模型中最常用到的...
近两年来，大模型的热度持续高涨，并且开始在更广泛的领域进行落地探索。随着行业整体的快速发展，越来越多的开源大模型涌入市场，进一...
归一化层是深度神经网络体系结构中的关键，在训练过程中确保各层的输入分布一致，这对于高效和稳定的学习至关重要。归一化技术的选择（B...
分组查询注意力 (Grouped Query Attention) 是一种在大型语言模型中的多查询注意力 (MQA) 和多头注意力 (MHA) 之间进行插值的方法，它的...
PeleeNet: An efficient DenseNet architecture for mobile devices
在合成生物学领域，研究人员将来自其他生物体的酶基因导入某种宿主体中，构建起新的代谢途径，可以让宿主生产出自己本身不能合成的物质...
这是3月26日新发的的论文，微软的研究人员简化的基于mamba的体系结构，并且将其同时应用在图像和时间序列中并且取得了良好的成绩。
本文主要梳理Facebook AI Research 从2019年开始的发表的wav2vec系列工作，主要包括了Wav2vec、Wav2vec 2.0
城市，是人们安居乐业的故土，是政府开展经济建设的基石，承载着细腻的人文情怀与宏伟的国家发展脉络。长期以来，管理者一直在探寻更加...
自 2017 年发表“ Attention Is All You Need ”论文以来，Transformer 架构一直是自然语言处理 (NLP) 领域的基石。它的设计多年来基本没...
大模型时代，根据大模型缩放定律，大家通常都在追求模型的参数规模更大、训练的数据更多，从而使得大模型涌现出更多的智能。但是，模型...
视频中，我们将深入了解利用GPU加速在Orange Pi 5上跑LLMs的精彩世界。最近知乎上的一篇文章《利用GPU加速，在Orange Pi上跑LLMs》引起...
2023年的大型语言模型领域经历了许多快速的发展和创新，发展出了更大的模型规模并且获得了更好的性能，那么我们普通用户是否可以定制我...
