NVIDIA Isaac ROS GEM 是一款基于硬件加速的软件包，可以让 ROS 开发者更轻松地基于 NVIDIA 硬件构建高性能解决方案。
NVIDIA Isaac ROS GEM 功能特性
- 高吞吐量感知
Isaac ROS GEM 提供的软件包中包括图像、计算机视觉，以及针对 NVIDIA GPU 和 Jetson 高度优化的 DNN 处理功能。
- 灵活的模组化软件包
借助模组化软件包，ROS 开发者可以准确地选择需要集成到其应用中的内容。这意味着他们可以替换整个工作流，也可以仅更换一种算法。
- 缩短开发时间
Isaac ROS GEM 经过精心设计和测试，与现有的常见 ROS 节点相似，更易于集成到现有应用中。
适用于 ROS 开发者且丰富多样的感知 AI 软件包
ROS 2 节点可应对常用的图像、计算机和 DNN 处理功能，这些功能是为 AI ROS 机器人应用提供高性能感知的关键要素。
基于 Visual SLAM 的定位
当自主机器在相应环境中移动时，它们必须持续追踪自己的位置。视觉测距通过估算摄像头相对于其起始位置的距离来解决这一问题。支持立体视觉测距的 Isaac ROS GEM 为 ROS 开发者提供了这一强大功能。
此 GEM 使实时立体摄像头视觉测距解决方案具备高准确度。可在此处参考基于广泛使用的 KITTI 数据库的公开可用结果。此 GPU 加速软件包不仅具备高准确度，运行速度也非常快。事实上，SLAM 现在可在 Jetson Xavier AGX 上以高清分辨率（1280 x 720）实时（60 fps 以上）运行。
3D 场景重建 – nvblox（预览）
仅仅明确机器人的位置还不足以在复杂的环境中实现安全导航。机器人还必须能够自己发现障碍物。nvblox（预览）使用 RGB-D 数据来创建机器人所在环境的密集 3D 显示。其中包括不可预见的障碍物，如果不进行实时观察，可能会对机器人造成危险。而此数据有助于为导航堆栈生成时间成本图。
DNN 推理过程
DNN 推理 GEM 是一组 ROS2 软件包，允许开发人员使用 NGC 上可用的 NVIDIA 众多推理模型中的任何一种，甚至可以提供自己的 DNN。利用 NVIDIA TAO 工具套件，开发者可以进一步调整预训练模型或优化自己的模型。
优化后，这些软件包将通过 NVIDIA 的推理服务器 TensorRT 或 Triton 进行部署。借助利用 TensorRT（NVIDIA 的高性能推理 SDK）的节点实现出色的推理性能。如果 TensorRT 不支持所需的 DNN 模型，则可以使用 Triton 来部署模型。
整合模型支持的其他 GEM 现已推出，并支持 U-Net 和 DOPE 。基于 TensorRT 的 U-Net 软件包可用来从图像中生成语义分割遮罩。DOPE 软件包可用于对所有检测到的目标进行 3D 姿态估计。
该工具是在 ROS 应用程序中加入高性能 AI 推理的最快方法。下图为预训练模型 PeopleSemSegNet，运行速度为 25fps @544p。
摄像头 / 图像处理
在典型的机器人图像处理流程中，须先处理通过摄像头传感器获得的原始数据，然后再将其传递给 DNN 或用于感知处理的经典计算机视觉模组。此图像处理过程包括镜头失真校正（LDC）、图像调整和图像格式转换等。如果需要用到立体摄像头，则还需要估计差异。图像处理 GEM 旨在利用 Jetson 上的专用计算机视觉硬件，例如 GPU、VIC（视频和图像合成器）和 PVA（可编程的视觉加速器）。
针对使用 CSI 接口连接摄像头的机器人，NVIDIA 提供硬件加速的 Argus 软件包。
图为镜头失真的摄像头图像（左）和使用 LDC GEM 修正后的图像（右）
点击下方链接，了解更多 NVIDIA Isaac ROS GEM 相关内容
https://developer.nvidia.cn/i...
NVIDIA 深度学习培训中心
我们的 NVIDIA 深度学习培训中心还推出了 TAO 工具套件 相关课程，可以帮助您更好地了解 NVIDIA XR 解决方案。您可以复制链接查看课程详情。
* 通过卫星图像监测自然灾害风险（免费课程）
您将学习如何建立和部署一个深度学习模型并使用卫星图像来自动检测洪灾。这个工作流程可以应用于降低各种自然灾害管理用例的成本，提高效率，并显著增强其有效性。
详情请见：https://courses.nvidia.com/co...
- 构建实时视频 AI 应用
在本课程中，您将获得与原始视频数据实时转化相关的知识和技能，从如何广泛部署相机传感器技能到基于深度学习的知识洞察。
详情请见：https://courses.nvidia.com/co...
- 使用 TAO 工具包训练文本分类模型（免费课程）
您将学习如何利用 TAO（训练、适配、优化）的简单性和便利性来构建用于情感分析的文本分类任务。
详情请见：https://courses.nvidia.com/co...
