NVIDIA英伟达嵌入式系统 · 2023年06月08日 · 北京市

使用 NVIDIA Isaac Sim、ROS 和 Nimbus 开发多机器人环境

 title=

随着现实场景中部署的自主机器人越来越多,对高保真多机器人仿真环境的需求也在迅速增长。本文将回顾笔者过去在 Cogniteam 使用的仿真多机器人的方法、目前使用 NVIDIA Isaac Sim 所取得的进步,以及 Nimbus 如何通过 Isaac Sim 加速多机器人仿真的开发和维护。

使用 Unreal Tournament 游戏引擎进行多机器人仿真

大约 20 年前,我和 Cogniteam 的朋友们开始进行机器人开发。大家想要构建一个用于多机器人任务分配和团队工作的机器人框架。该系统最初被命名为 CogniTAO,后来又发布了简化版本 ROS decision\\\\_making。

当时,多机器人的用例还很少,而且也无法对这些机器人进行 3D 仿真。所以我为 Unreal Tournament 2000-2004 游戏引擎写了一个可以仿真四个机器人的 mod。我们这支由四名程序员组成的小团队花了大约 3 年时间,开发出一个可以顺利运行 15 分钟的仿真环境。
 title=
图 1. 四个机器人的仿真(左)以及这些机器人的视频(右)

该环境能够在五台先进的台式电脑上仿真四个带有摄像头、Hokuyo 激光雷达、测向仪和测绘功能的机器人,并且能够远程接收每台机器人的视频资料。我们的一位工程师写了一个 C++ 的 TCP 客户端,可以直接从本地网络传输游戏引擎的数据并全屏显示。必须严格按照顺序运行代码,这样才能让机器人按时抵达正确的位置。

使用 Gazebo 进行多机器人仿真

到了 2013 年,在 Gazebo 成为实际中的机器人仿真平台后,我们把工作转移到了 Gazebo 上。三个程序员花了大约 2 年时间,在两台英特尔 Xeon 上仿真了 10 个机器人。他们使用了 ROS move\\\\_base 导航堆栈和 OpenCV Hough Circle Transform 进行模板检测,在 TensorFlow 出现之前,机器人团队都是用这个办法来做演示的。我们当时的同事花了 6 个月的时间构建了 RQT 插件,来控制和显示来自多个机器人的数据串流(图 2)。
 title=
图 2. 10 个带有 RQT 插件的机器人所拍摄的视频影像和地图视图

这些机器人必须能够相互通信,也必须能够在无法通信的情况下运行。为了实现这一点,每个机器人都必须运行自己的 ROS 主程序,并通过 ROS 多主程序网络进行同步。

使用 NVIDIA Isaac Sim 进行多机器人仿真

几个月前,我请 Cogniteam 算法团队的计算机科学学生 Saar Moseri 使用云机器人生态 Nimbus 和 NVIDIA Isaac Sim 建立了一个多机器人仿真场景。我和内部测试团队都希望使用 Nimbus 来控制机器人,并查看它们所产生的数据。

Saar 花了大约两周时间熟悉环境和配置系统。图 3 所示的是这项工作的成果,运行在 Cogniteam 实验室一台装有 NVIDIA GeForce RTX 3080 的标准(单体)台式机上。
 title=
图 3. NVIDIA Isaac Sim 多机器人默认设置

Saar 依据了 NVIDIA NGC 上的 Isaac Sim 文档来安装和设置环境。他使用 Nimbus 在仿真机上设置了代理并创建了一个网关节点,通过 ROS 接收来自仿真机的数据。
 title=
图 4. Nimbus 机器人编辑器(左)和 Nimbus 配置编辑器(右)

然后我们创建了图 5 所示的节点配置。
 title=
图 5. 带有 move\\_base 导航的 Nimbus 简单任务配置

这两个已经容器化的构建模块分别是一个网关节点和一个 move\\_base 导航的节点。该配置被部署到 Cogniteam 实验室仿真桌面上运行的代理中。其他更复杂的配置连同来源,包括用于 GMapping、路径追踪等的节点,都可以在 Nimbus Hub(https://app.cognimbus.com/nimbushub)获取。

我和团队都被这种方法的无限可能性震惊到了。在上述配置中,仿真感官数据从 Isaac Sim 通过 ROS 网关到达,ROS 网关同时支持 ROS 和 ROS 2。Nimbus 可实现查看和控制功能。

这个开箱即用的设置使我们的团队能够执行基本的仿真任务,并在实验室里仿真机器人车队的控制。不仅如此,还可以完成许多其他功能,比如记录机器人的仿真运行情况和感官数据、通过远程 SSH 连接到仿真机器、对仿真数据进行全局监控,甚至向验证团队发送有关仿真进展的电子邮件和短信通知。所有这些都可以在一个网络浏览器上完成。

将 Isaac Sim 与 Nimbus 组合成统一的系统,其功能与现有的云仿真产品相似,但在本地机器上运行且不会产生额外的云仿真计算成本。此外,它还开辟了一些新的先进仿真流程,比如硬件在环仿真等。这在云中运行仿真时是不可能做到的。图 6 显示了 Nimbus 中的控制、导航和绘图情况。
 title=
图 6. Nimbus 机器人 WebRTC 视频监控(左)以及 Nimbus 地图视图和自主控制(右)

如要拷贝上述提到的设置,请参考 Isaac Sim documentation (https://catalog.ngc.nvidia.com/orgs/nvidia/containers/isaac-sim) 文档。然后在 Nimbus 上创建一个免费账户,登录后按照说明即可创建一个机器人。

在将机器人代理安装在 Isaac Sim 以 headless 模式运行的桌面上后,您就能够通过远程 SSH 配置仿真并在 Nimbus 网站上监控仿真机。

您可在 Nimbus hub 部署 Isaac Sim 配置。由于一切都已经容器化(包括 Isaac Sim)并且可在浏览器上进行控制,因此不需要安装任何应用。机器上的代理将设置好执行所需的一切。

然后,您可以在该代理的监控页面上监控任何与您的设置相关的数据。在代理设置中,您可以通过在 ROS 串流上添加条件来定义通知,比如:

“if GoalStatus == ABORTED”
send sms/mail to simulation@your-company.com

总结

仿真是成功部署自主机器人的关键。多次运行同一场景对测试来说至关重要,但多机器人仿真则有所不同。开发一个高保真的多机器人仿真环境十分复杂且耗时,但正如本文所述,您可以使用 NVIDIA Isaac Sim 和 Nimbus 简化这一过程。

如要进一步了解 Isaac Sim,请访问 NVIDIA Developer Isaac ROS Forum (https://forums.developer.nvidia.com/c/agx-autonomous-machines/isaac/67)。

推荐阅读
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息