导语自 2015 年 TensorFlow 开源以来，伴随着深度学习的迅猛发展，通用深度学习框架经历了 10 年的高速发展，大浪淘沙，余者寥寥。曾几...
为了给 OpenRLHF 写一个 weight_update 接口，怜悯给我说，”你只需要学习 torch.dist。”我当时一听，“我怎么记得有个 torch 的接口是...
随着生成式 AI（genAI）模型在应用范围和模型规模方面的持续扩展，其训练和部署所需的计算资源及相关成本也呈现显著增长趋势，模型优化...
Pytorch框架现在越来越受到开发者欢迎的深度学习框架，小编也是从tensorflow到pytorch都使用过，让我现在选择我会选择pytorch框架，原因...
视觉语言模型（Vision Language Model，VLM）正在改变计算机对视觉和文本信息的理解与交互方式。本文将介绍 VLM 的核心组件和实现细节，...
当涉及到图数据时，复杂性是不可避免的。无论是社交网络中的庞大互联关系、像 Freebase 这样的知识图谱，还是推荐引擎中海量的数据量，...
在深度学习框架的选择上，PyTorch Lightning和Ignite代表了两种不同的技术路线。本文将从技术实现的角度，深入分析这两个框架在实际应用...
本文深入探讨Transformer模型中三种关键的注意力机制：自注意力、交叉注意力和因果自注意力。这些机制是GPT-4、Llama等大型语言模型（LL...
近年来,大型语言模型(Large Language Models, LLMs)在自然语言处理(Natural Language Processing, NLP)领域取得了显著进展。这些模型通...
来源：[链接] 。下面文章包含2个主题，第一个是FSDP2中开启Float8 All-Gather的Discussion的翻译，第二个是TorchAO中的Float8实现速览的...
深度学习实践者都知道,在训练神经网络时,正确设置学习率是使模型达到良好性能的关键因素之一。学习率通常会在训练过程中根据某种调度策...
Triton 是一种用于并行编程的语言和编译器。它旨在提供一个基于 Python 的编程环境，以高效编写自定义 DNN 计算内核，并能够在现代 GPU ...
博客链接：[链接]。博客由 IBM 的 PyTorch 团队和 Meta 的 PyTorch 团队撰写。在【翻译】使用PyTorch FSDP最大化训练吞吐量的基础上使用...
近年来，随着机器学习技术的进步，深度神经网络已经成为解决时间序列预测问题的主流方法。这反映了学术界和工业界在利用先进技术处理序...
博客链接：[链接] 。博客由 IBM 的 PyTorch 团队和 Meta 的 PyTorch 团队撰写。目前Torch也持续在训练Infra上面推理，除了DeepSpeed，Me...
对FlexAttention的常见API的使用方法做一个解读，博客来源：[链接] ，在此基础上我对部分代码添加了一些解释，修复了几个代码中的bug并...
PyTorch是当今最受欢迎的AI框架之一。它由Meta(前Facebook)开发并于2017年开源,具有简洁友好的"Python式"接口。这种易用性使其特别适合...
by Team PyTorch: Horace He, Driss Guessous, Yanbo Liang, Joy Dong
教程链接[链接]torch.compile 的详细示例解析本教程旨在涵盖 PyTorch 编译器的以下几个方面：基本概念（Just-In-Time 编译器、Ahead-of-...
博客链接：[链接]最近了解torch.compile的时候，发现清华推出了一个可以帮助我们理解torch.compile到底对我们的代码做了什么优化的库dep...
