【导读】近日，Picsart AI Resarch等团队联合发布了StreamingT2V，可以生成长达1200帧、时长为2分钟的视频，一举超越Sora。同时，作为开源世界的强大组件，StreamingT2V可以无缝兼容SVD和animatediff等模型。
首先是需求分析，也就是为什么要做nndeploy，模型多端部署有什么实际场景，目前模型多端部署以及模型部署有哪些痛点。
本篇文章与2023年底尝试挖掘并探寻以chatGPT为代表的LLM和以AlphaGO/AlphaZero及当下AlphaDev为代表的RL思想的背后底层理论及形式上的统一，同时与最近OpenAI暴露出的project Q*可能的关于细粒度过程学习再到系统①(快)思考与系统②(慢)思考的形式化统一的延展性思考，以展望并探索当下面向未来的AGI->ASI的路径可行性...
【导读】近日，天才程序员Justine Tunney发推表示自己更新了Llamafile的代码，通过手搓84个新的矩阵乘法内核，将Llama的推理速度提高了500%！
FlashAttention（FA）是一系列针对Transformer模型训练和推理加速方案。自从去年（2022年）五月发布以来，历经了多次迭代，并借着其节省显存、加速计算、使用简单的特性，目前已经是大模型训练必备之良药。FA的论文，一年多就有242个引用，作为一个做底层优化的论文，也是前无古人了。
Continuous Batching现已成为大型模型推理框架的关键技术，也是框架性能优化的主战场。通过将多个在线请求进行批处理（Batching），可以提高 GPU 的使用效率。在 Transformer 出现之前，在模型服务过程中，Batching功能通常由一个与推理框架分离的服务框架来完成，例如 tfserving之于TensorFlow XLA和NVIDIA Triton之于T...
去年十月，美商务部禁令的出现，使中国客户无法使用NVIDIA H100/H200旗舰芯片。一时间，各种NV存货、中国限定卡型、其他厂商NPU纷至沓来。在大模型推理场景中，如何客观比较不同硬件的能力，成为一大难题，比如：
大家好，今天想来介绍下当红推理框架vLLM的核心技术PagedAttention。PagedAttention的设计灵感来自操作系统的虚拟内存分页管理技术。vLLM的论文是在假设读者对这项分页管理技术非常熟悉的情况下，对PagedAttention进行介绍的，这对一些非计算机专业出身，或者对操作系统相关知识有所遗忘的读者来说并不友好。
最近在调研 PyTorch 的一些 features，偶然发现了一些有意思的小细节，小小记录下心得。ZeroRedundancyOptimizer 优化器是 PyTorch1.10 版本发布的功能，如果了解最近大模型训练方向的成果，对这个更加不陌生。ZeroRedundancyOptimizer 是微软提出的一种大规模模型在分布式训练的一种优化策略 [ZeRO]，通过将优化器状态...
“Mora: Enabling Generalist Video Generation via A Multi-Agent Framework”
从大规模驾驶演示中学习类似人类的驾驶策略是很有前途的，但规划的不确定性和非确定性本质使得这一任务充满挑战。在这项工作中，为了应对不确定性问题，作者提出了VADv2，一个基于概率规划的端到端驾驶模型。VADv2以流方式输入多视角图像序列，将传感器数据转换为环境标记嵌入，输出动作的概率分布，并从中采样一个动作...
我们在开始分享今天的内容之前，先思考一下，为什么 Intel 会做行业第一？因为它有掌握成本结构的 IDM 模式，有符合摩尔定律的 Tick-Tock 策略，这些都对。但除此之外，还有一个非常重要的因素，那就是Intel掌握了x86指令集。想想为什么 AMD 能与 Intel 常年竞争？AMD 甚至在濒临破产的边缘，连总部大楼都卖了还能起死回...
北京时间3月18日早上，马斯克旗下 AI 初创公司 xAI 宣布，其研发的大模型Grok-1其大语言模型Grok-1已实现开源，并向公众开放下载。感兴趣的用户可通过访问GitHub页面github.com/xai-org/grok来使用该模型。
本文特别鸣谢字节跳动 Crane佬解答了我对SWA的疑惑0 前言 1 Mistral 7B 模型 1.1 SWA(Sliding Window Attention)2 Mixtral 8x7B(MoE)模型 3 Llama2 70B vs Mixtral 8x7B0 前言从前段时间Mistral AI 公司发布全球首款MoE(Mixture-of-Experts)大模型——Mixtral-8x7B 以来，就在AI界引起了不小的轰动，从一众科技自媒体...
arXiv上面看到的综述“The Deep Learning Compiler: A Comprehensive Survey（[链接]）”，2020年2月上传第一版，4月已经是第三版。
大家好，在写这篇文章时，本来是想打算介绍Mixtral 8 * 7b具体模型架构的。但是代码读着读着就发现：
用计算机类比的话，在这套框架内，LLM扮演的是CPU的角色，langchain扮演的是主板，为其提供内存、磁盘等设备，使其完成更多复杂的功能。
这里结合网络的资料和DenseNet论文，捋一遍DenseNet，基本代码和图片都是来自网络，这里表示感谢，参考链接均在后文。
随着 OpenAI 最新 Sora 的火爆出圈，Diffusion Transformer 无疑将成为继 Stable Diffusion 后最出圈的模型结构。Diffusion Transformer Model 是一种结合了 Transformer 架构和扩散模型的图像、视频及其他数据的生成模型。也就是说 Diffusion Transformer 继承了 Transformer 这种具有 scaling laws 优势的模型结构，具...
得益于基础模型的发展，红外小目标检测（ISTD）算法取得了显著进展。特别是，结合卷积网络和 Transformer 结构的模型能够很好地提取局部和全局特征。同时，它们也继承了基础模型的缺陷，例如， Transformer 的二次计算复杂度，这影响了效率。受近期一个具有线性复杂度用于长距离建模的基础模型Mamba的启发，本文探索了这...
