在本文中将在分析时间序列时使用的常见的处理方法。这些方法可以帮助你获得有关数据本身的见解，为建模做好准备并且可以得出一些初步结论。
语义搜索和检索增强生成(RAG)正在彻底改变我们的在线交互方式。实现这些突破性进展的支柱就是向量数据库。选择正确的向量数据库能是一项艰巨的任务。本文为你提供四个重要的开源向量数据库之间的全面比较，希望你能够选择出最符合自己特定需求的数据库。
ORPO是一种新的微调技术，它将传统的监督微调和偏好对齐阶段结合到一个过程中。减少了训练所需的计算资源和时间。论文的实证结果表明，ORPO在各种模型大小和基准上都优于其他对齐方法，所以这次我们就来使用最新的Llama 3来测试下ORPO的效果。
在数据科学和分析中，理解高维数据集中的底层模式是至关重要的。t-SNE已成为高维数据可视化的有力工具。它通过将数据投射到一个较低维度的空间，提供了对数据结构的详细洞察。但是随着数据集的增长，标准的t-SNE算法在计算有些困难，所以发展出了Barnes-Hut t-SNE这个改进算法，它提供了一个有效的近似，允许在不增加计...
在不断发展的大型语言模型（LLMs）领域中，用于支持这些模型的工具和技术正以与模型本身一样快的速度进步。在这篇文章中，我们将总结5种搭建开源大语言模型服务的方法，每种都附带详细的操作步骤，以及各自的优缺点。
检索增强生成（RAG）是一种新兴的 AI 技术栈，通过为大型语言模型（LLM）提供额外的“最新知识”来增强其能力。
在过去的几个月中，时间序列基础模型的发展速度一直在加快，每个月都能看到新模型的发布。从TimeGPT 开始，我们看到了 Lag-Llama 的发布，Google 发布了 TimesFM，Amazon 发布了 Chronos，Salesforce 发布了 Moirai。TimesFM是信息最多的模型，而Lag-Llama、Chronos我们都做过详细的介绍。今天我们来详细介绍一下Moirai...
这篇文章将演示如何可视化PyTorch激活层。可视化激活，即模型内各层的输出，对于理解深度神经网络如何处理视觉信息至关重要，这有助于诊断模型行为并激发改进。
现在有许多方法可以使大型语言模型（LLM）与人类偏好保持一致。以人类反馈为基础的强化学习（RLHF）是最早的方法之一，并促成了ChatGPT的诞生，但RLHF的成本非常高。与RLHF相比，DPO、IPO和KTO的成本明显更低，因为它们不需要奖励模型。
在我们周围的各个领域，从分子结构到社交网络，再到城市设计结构，到处都有相互关联的图数据。图神经网络（GNN）作为一种强大的方法，正在用于建模和学习这类数据的空间和图结构。它已经被应用于蛋白质结构和其他分子应用，例如药物发现，以及模拟系统，如社交网络。标准的GNN可以结合来自其他机器学习模型的想法，比如...
我们开始看4月的新论文了，这是来自北京大学人工智能研究所、北京大学智能科学与技术学院的研究人员发布的Principal Singular Values and Singular Vectors Adaptation（PiSSA）方法。
今天我们来总结以下大型语言模型面试中常问的问题1、哪种技术有助于减轻基于提示的学习中的偏见?A.微调 Fine-tuningB.数据增强 Data augmentationC.提示校准 Prompt calibrationD.梯度裁剪 Gradient clipping答案:C提示校准包括调整提示，尽量减少产生的输出中的偏差。微调修改模型本身，而数据增强扩展训练数据。梯度裁...
在本篇文章我们将详细讨论推测解码，这是一种可以将LLM推理速度提高约2 - 3倍而不降低任何准确性的方法。我们还将会介绍推测解码代码实现，并看看它与原始transformer 实现相比到底能快多少。
最近，Redis 从开放源代码的 BSD 许可证过渡到了更加限制性的 Server Side Public License (SSPLv1)。一石激起千层浪，Redis 的这一举动，不仅分化了前 Redis 维护者，也再次引发业界对于“开源项目可持续性以及许可证决策对其社区的影响”的讨论。
如果你一直在关注大型语言模型的架构，你可能会在最新的模型和研究论文中看到“SwiGLU”这个词。SwiGLU可以说是在大语言模型中最常用到的激活函数，我们本篇文章就来对他进行详细的介绍。SwiGLU其实是2020年谷歌提出的激活函数，它结合了SWISH和GLU两者的特点。
归一化层是深度神经网络体系结构中的关键，在训练过程中确保各层的输入分布一致，这对于高效和稳定的学习至关重要。归一化技术的选择（Batch, Layer, GroupNormalization）会显著影响训练动态和最终的模型性能。每种技术的相对优势并不总是明确的，随着网络体系结构、批处理大小和特定任务的不同而变化。
分组查询注意力 (Grouped Query Attention) 是一种在大型语言模型中的多查询注意力 (MQA) 和多头注意力 (MHA) 之间进行插值的方法，它的目标是在保持 MQA 速度的同时实现 MHA 的质量。
这是3月26日新发的的论文，微软的研究人员简化的基于mamba的体系结构，并且将其同时应用在图像和时间序列中并且取得了良好的成绩。
自 2017 年发表“ Attention Is All You Need ”论文以来，Transformer 架构一直是自然语言处理 (NLP) 领域的基石。它的设计多年来基本没有变化，随着旋转位置编码 (RoPE) 的引入，2022年标志着该领域的重大发展。
2023年的大型语言模型领域经历了许多快速的发展和创新，发展出了更大的模型规模并且获得了更好的性能，那么我们普通用户是否可以定制我们需要的大型语言模型呢？
