机器人需要具备很强的适应能力，能够随时学习新的技能并适应周围环境。但传统的训练方法会限制机器人将所学技能应用于新情况，常见的原因有感知与行动之间存在差距和难以将技能迁移到不同的情境中。
NVIDIA Isaac Lab 是一个适用于机器人学习的开源模块化框架，该框架可以打破这些局限性。Isaac Lab 的模块化高保真仿真适用于各种训练环境，可提供各种物理 AI 功能和由 GPU 驱动的物理仿真。
Isaac Lab 同时支持模仿学习（模仿人类）和强化学习（在尝试和错误中进行学习），为所有机器人具身提供了灵活的训练方法。它能够为各种训练场景提供用户友好的环境，帮助机器人制造商根据不断变化的业务需求来增加或更新机器人技能。
许多业内合作者正在使用 Isaac Lab 来高效训练人形机器人，例如傅利叶智能的 GR1 人形机器人具有类似人类的自由度；Mentee Robotics 专为从家庭到仓库的应用制造了 MenteeBot。
图 1. 使用 NVIDIA Isaac Lab 训练的傅利叶智能人形机器人
ORBIT-Surgical 是一个基于 Isaac Lab 的仿真框架，使用该框架训练的达芬奇研究套件 (dVRK) 等机器人能够协助外科医生，并减轻他们的脑力劳动负担。该框架使用在 NVIDIA RTX GPU 上运行的强化学习和模仿学习，使机器人能够操纵刚性和柔性物体。此外，在训练能够在真实的医院手术室视频中分割手术工具的 AI 模型时，需要使用高保真合成数据，而 NVIDIA Omniverse 能够帮助生成这些数据。
波士顿动力公司正在使用 Isaac Lab 和 NVIDIA Jetson AGX Orin，将仿真策略直接应用于推理，简化了整个部署流程。如需了解更多信息，请参见消除仿真与现实之间的差距：使用 NVIDIA Isaac Lab 训练 Spot 四足机器人运动。
本文将概述 NVIDIA Isaac Lab 的主要功能，并预先介绍 NVIDIA 人形机器人开发者计划中的 Isaac Lab 生态系统合作者。本文还将说明如何使用 NVIDIA OSMO 平台来扩展机器人工作流。
加速机器人学习的 Isaac Lab 功能
Isaac Lab 提供的主要功能包括：用于实现无缝、高效机器人策略训练的强化和模仿学习；PhysX 提供的快速、准确的物理仿真；用于矢量化渲染的平铺渲染 API；用于提高稳健性和适应性的域随机化；以及对云端运行的支持。
集多种机器人训练技术于一身：Isaac Lab 是一个通过强化学习和模仿学习来赋能机器人学习的仿真应用。
图 2. NVIDIA Isaac Lab 在一个环境中使用多项经过训练的策略来启动多个具身
强化学习 (RL)：机器人在尝试和错误中学习，使其更能适应新的情况，并有可能在某些任务中超越人类。但 RL 的速度会很慢，并且需要精心设计的奖励函数来指导机器人的学习。Isaac Lab 通过不同程序库的封装器为 RL 提供支持，这些封装器可以将环境数据转换为函数参数和返回类型。
图 3. 使用 NVIDIA Isaac Lab 强化学习框架训练的 MenteeBot
模仿学习：机器人通过模仿人类演示进行学习。这种方法适用于具有特定动作或行为的任务，需要的数据较少，而且能够充分利用人类的专业知识。模仿学习由学习框架 Robomimic 提供支持，能以 HDF5 的格式保存数据。
任务设计工作流上的灵活性：机器人训练环境的创建方式有两种：“基于管理器创建”和“直接创建”。使用“基于管理器创建”的工作流时，您可以轻松换掉环境的不同部分。而如果要优化复杂逻辑的性能，建议使用“直接创建”工作流。
平铺渲染：Isaac Lab 是目前业界唯一一款为机器人学习提供高保真渲染的工具，它能够帮助缩小仿真与现实之间的差距。平铺渲染可将多个摄像头输入的图像合并成一张大图像，从而缩短渲染时间。它提供了一个精简化的视觉数据处理 API，可将渲染后的输出直接作为仿真学习的观测数据。
多 GPU 和多节点支持：对于复杂的强化学习环境，可能需要在多个 GPU 上扩大训练规模。Isaac Lab 通过使用 PyTorch 分布式框架来实现这一点。
图 4. 通过 PyTorch 分布式框架在 Isaac Lab 中扩展多个 GPU
矢量化 API：利用增强视图 API 提高易用性，无需预先初始化缓冲区，并为场景中的不同对象缓存索引，而且还支持场景中有多个视图对象。
轻松部署到公有云：支持部署到 AWS、GCP、Azure 和阿里云上，并集成了 Docker，可在容器中高效执行 RL 任务。还可使用 OSMO 无缝扩展多 GPU 和多节点作业。
准确的物理学仿真：通过 Isaac Lab 使用由 GPU 提供加速的最新版本 PhysX，包括对变形物体的支持，确保物理学仿真快速、准确，并通过域随机化增强。
通过 NVIDIA OSMO 扩展机器人工作流
NVIDIA OSMO 是一个云原生工作流编排平台，能够为多种任务的编排、可视化和管理提供协助，包括生成合成数据、训练基础模型、将软件在环系统应用于各种机器人具身等。
有了 NVIDIA OSMO，企业无需具备丰富的内部 IT 专业知识即可高效训练机器人。申请加入 NVIDIA OSMO 早期访问计划：
https://developer.nvidia.com/...
图 5. 使用 NVIDIA OSMO 云原生平台进行任务编排、可视化和管理
适用于人形机器人学习的 AI 基础模型
NVIDIA Project GR00T 是用于人形机器人开发的通用基础模型。Isaac Lab 正在帮助业内合作者进行机器人学习，包括 1X、波士顿动力人工智能研究所、波士顿动力公司、字节跳动 ByteDance Research、Field AI、傅利叶、银河通用、逐际动力、Mentee、NEURA Robotics、星动纪元和 Skild AI。
每增加一个自由度，人形机器人动力学建模的复杂性就会成倍增加。在为人形机器人开发适用于各种任务和环境的策略时，只有 RL 和模仿学习这两种方法可以随着需求的增长而进行扩展。
欢迎使用人形机器人来创建机器人应用的企业申请加入 NVIDIA 人形机器人开发者计划：
https://developer.nvidia.com/...
入门指导
NVIDIA Isaac Lab 提供具备可定制环境、传感器和训练场景的模块化功能以及帮助所有机器人具身从快速演示中学习的强化学习、模仿学习等技术。
准备好及早开始训练您的机器人具身了吗？Isaac Lab 通过 BSD-3 许可开源，并且可在 GitHub 上的 isaac-sim/IsaacLab 获取：
https://github.com/isaac-sim/...
如果您现在是 NVIDIA Isaac Gym（Isaac Lab 的前身）的用户，我们建议您迁移到 Isaac Lab。这将保证您能够获得机器人学习领域的最新开发成果和强大的开发环境，从而加速机器人训练。
NVIDIA 创始人兼首席执行官黄仁勋与 Meta 创始人兼首席执行官马克·扎克伯格和《连线》资深撰稿人 Lauren Goode 在 SIGGRAPH 2024 上进行了炉边谈话。点播观看 NVIDIA 在 SIGGRAPH 2024 上的炉边谈话及其他会议：
