NVIDIA Isaac Sim 与 Lab 将新增先进传感器物理特性、自定义和模型基准测试功能

title=

在 COMPUTEX 2025 上，NVIDIA 宣布了机器人仿真参考应用 NVIDIA Isaac Sim 和机器人学习框架 NVIDIA Isaac Lab 的更新，以加速各种形态机器人的开发。

本文将介绍 Isaac Sim 和 Isaac Lab 的更新（将于今年二季度推出），以及这些更新如何加速机器人工作流。

Isaac Sim 5.0 的更新

基于 NVIDIA Omniverse 和 OpenUSD 构建的新版 Isaac Sim，将具备开源及可定制的特点，可以通过 NVIDIA Launchable 加快开发速度，并支持先进的合成数据生成流程以加速机器人仿真。

开源且完全可定制

即将在 GitHub 上推出的 Isaac Sim 5.0 将具备开源、完全可定制以及可扩展的特性，用户能够针对特定需求自定义仿真，比如针对合成数据生成 (SDG) 和软件在环 (Software-in-the-Loop) 测试。

如果需要对基础 Omniverse Kit 的其他企业级支持以及商业再分发权限，需要有 Omniverse Enterprise 许可证。

通过 NVIDIA Brev 快速启动开发项目

Isaac Sim 5.0 将可以通过 NVIDIA Brev 访问，通过 NVIDIA Brev，开发者可以直接访问主要云服务商的 NVIDIA GPU 实例。Brev 提供了快速启动 Isaac Sim 的快捷方式，无需搭建基础设施，并加速了迭代周期。

开发者可以选择一键启动部署，或通过选择实例类型和端口配置来自定义部署。

title=
图 1. Isaac Sim Brev 窗口

先进的合成数据生成流程

通过仿真生成的合成数据可确保对真实世界物理特性（包括运动数据和环境交互）进行精确建模，因存在危险而难以在真实世界中采集的罕见场景，也可通过这种方式进行捕获。

MobilityGen

高质量的运动数据是训练更智能、适应性更强的机器人的基础，这些机器人能够在真实环境中安全高效地运行。这需要逼真的运动动力学和丰富的 ground-truth 数据，以开发可在机器人和环境中泛化的适应性强、高效的运动模型。

MobilityGen 将作为 Isaac Sim 中的扩展程序提供，用于创建多样化的基于物理性质的数据和感知模型训练数据，比如占据地图、机器人状态、位姿、速度和图像等。它还将支持各种数据收集方法，如远程操作、自动动作和可定制的路径规划。生成的数据可用于训练自主移动机器人、四足机器人和人形机器人。MobilityGen 的数据已用于训练端到端通用导航模型 X-Mobility。

将合成数据生成扩展到物理空间

物理 AI 使机器人、自动驾驶汽车和智能空间等系统能够在工厂、仓库和城市等真实环境中感知和行动。为了更好地从空间角度理解环境，开发者需要训练数据来准确模拟这些复杂 3D 环境中的摄像头所拍摄到的多个移动主体和物体。

Isaac Sim 中的新扩展程序可生成用于训练视觉 AI 模型的合成图像和视频数据，包括：

Isaacsim.Replicator.Agent：对人类和机器人在 3D 环境中执行行走、坐下或举起物体等动作进行仿真。

Isaacsim.Replicator.Object：生成合成数据集，用于使用可配置场景和域随机化进行物体检测。

Incident extension（将在 Isaac 5.0 中推出）：生成基于事件的数据，如火灾、泄漏或物体掉落。

Caption extension（将在 Isaac 5.0 中推出）：创建图像 – 文本对 (image-caption pairs)，用于训练基于场景理解的视觉语言模型。

Cosmos 世界基础模型

数据格式兼容性的优化

NVIDIA Cosmos Transfer 等世界基础模型 (WFM) 可帮助将 Isaac Sim 生成的合成数据增强到模型训练所需的逼真程度。新的 NVIDIA Omniverse Replicator writer 针对 Cosmos Transfer 输入进行了优化，使用户能够轻松生成并导出高质量合成数据用于模型训练。它支持独立工作流和脚本编辑器，还能无缝集成到现有的 Isaac Sim 合成数据生成脚本中。

增强型传感器仿真

title=
图 2. 深度传感器仿真输出

准确的传感器仿真对于在真实世界中成功部署机器人和计算机视觉应用至关重要。Isaac Sim 将支持通用深度图噪声模型，使开发者能够逼真地对立体摄像头的噪声特性进行仿真。此功能有助于生成噪声模式接近真实传感器数据的深度图像，进一步提升合成输出的真实感。

改进的执行器模型

Isaac Sim 现在支持通过 OpenUSD 架构定义的新关节摩擦模型，包括与 Hexagon Robotics 和 maxon 合作开发的执行器和摩擦参数。这些模型利用制造商数据表中的真实世界数据，确保仿真中关节和电机的驱动行为与实际高度一致，从而缩小仿真与现实之间的差距。通过更准确的执行器建模，可以更好地训练强化学习 (RL) 策略，实现从仿真到物理硬件的平滑过渡，并提升机器人在真实世界中性能的可靠性。

借助标准化 ROS 2 接口和 ZMQ 桥接器简化机器人工作流

为了解决机器人技术长期面临的挑战，新的标准化 ROS 2 仿真接口通过引入一种一致的方法，通过 ROS 2 控制不同的仿真器。这个新的标准化接口由 Robotec.ai 牵头，由 Gazebo、Open 3D Engine 和 NVIDIA 共同合作开发，通过为开发者提供一种一致的方法来控制 ROS 2 中的仿真，从而简化集成过程。

ZMQ 桥接器是为 Isaac Sim 4.5 添加的扩展程序，可实现与 ROS 之外的外部应用程序进行快速双向通信。它支持软件在环测试，并且可以扩展到边缘设备上的硬件在环。用例包括流式传输摄像头数据、传输 ground truth、发送控制指令及交换辅助数据等。

Isaac Lab 2.2 的更新

最新的 Isaac Lab 更新包括 GR00T N1 模型的基准测试脚本、增强的合成运动数据生成、通过 Omniverse Fabric 加快加载速度，以及改进的吸盘夹具建模。

对 NVIDIA Isaac GR00T N 模型进行基准测试和评估

最新版本的 Isaac Lab 将支持用于对 Isaac GR00T N 系列基础模型进行闭环评估的环境基准测试脚本。开发者可以加载这些预构建的环境和工业任务，比如螺母浇注和管道分拣等，来运行闭环基准测试。

title=
图 3. GR00T N1 部署在 Isaac Lab 中的

傅利叶 GR1 人形机器人上，用于双手操作任务

除了新环境和基准测试外，Isaac Lab 还将支持 LeRobot 数据格式，能够将 Isaac GR00T Blueprint 生成的合成数据转换为合成操作运动生成，用于 Isaac GR00T N1 模型的后训练。然后，经过训练的策略可以在 Isaac Sim 中针对多种 “假设” 场景进行进一步验证。

使用 GR00T-Mimic 增强合成运动生成

Isaac Lab 2.1 中引入了双手操作，Isaac Lab 2.2 将新增预构建环境。NVIDIA 在 2025 年 GTC 大会上进行了有关演示（请见图 4）。

title=
图 4. 搭载 GR00T N1 的傅利叶 GR1 人形机器人

执行复杂双手操作任务

这些专为数据采集设计的示例环境已预先配置在傅利叶 GR1 人形机器人上，便于收集合成运动数据以训练机器人策略模型。这些新的训练环境使用来自人形机器人视角的视觉输入，同时结合机器人状态信息（如 GR00T N 模型的关节位置数据）。

此外，还将提供样例数据、脚本、提示词及模型检查点，用以增强来自 Cosmos-Transfer1 的合成数据。

提升使用体验

新版本的 Isaac Lab 将使用 NVIDIA Fabric。这个 Omniverse 库支持高性能创建、修改和访问场景数据，以及在网络中的 CPU、GPU 和其他 Fabric 客户端之间的高效通信场景数据。

Fabric 可对数据建立索引并提供查询 API，使物理引擎和渲染系统等仅需访问所需数据，而无需在每帧中遍历整个场景。这将加快加载速度并提升可扩展性，支持物理仿真、传感器数据采集等任务与用户交互并行运行。

张量吸盘

表面夹具是机器人操作中的重要组件。物理上准确的仿真和张量化访问对于实现基于吸盘的强化学习任务和控制行为至关重要。

以前，表面夹具仅限于单个关节连接点，因此导致无法拾取多个物体。它还缺乏调整物理行为的灵活性，比如使用吸力吸引动物体，而只能在当前位置静态地抓取物体。此外，每个夹具必须针对每个环境单独映射，而不是使用更简化的张量化访问方法。

现在，Isaac Sim 和 Isaac Lab 将允许用户创建和配置可变形的表面夹具，能够测量抓力并以张量化方式更新吸盘参数。

Isaac Sim 5.0 和 Isaac Lab 2.2 将于今年夏天推出。

生态系统采用情况

Agility Robotics、波士顿动力、傅利叶、Mentee Robotics、Neura Robotics 和小鹏机器人等公司正在使用 Isaac Sim 和 Isaac Lab 对其人形机器人进行仿真和验证。Skild AI 正在使用该仿真框架开发通用机器人智能，General Robotics 正在将其集成到其机器人仿真平台中。

此外，台湾地区领先的电子和机器人制造商，比如威刚科技 (Adata)、研华科技 (Advantech)、台达电子 (Delta Electronics)、Foxconn、Foxlink、所罗门 (Solomon)、达明机器人 (Techman) 和纬创 (Wistron) 正在使用 Isaac Sim 和 Lab 开发下一代 AI 机器人。