NVIDIA英伟达嵌入式系统 · 8月19日 · 北京

NVIDIA Isaac Lab 助力银河通用打造灵巧手强化学习,加速灵巧手泛化抓取技术落地

案例简介:
在本案例中,银河通用的团队借助 Isaac Lab 搭建了具有挑战性的灵巧抓握基准 DexGraspNet,这是一个最近提出的基准套件,专门用于学习可泛化的灵巧抓握。DexGraspNet 包含 1.32M 个 ShadowHand 对 5355 个物体的抓握动作,比 DDG 之前的数据集大两个数量级。它具有 GraspIt!* 无法实现的多种抓握类型。

*GraspIt!:GraspIt! 是一个由哥伦比亚大学机器人小组开发的仿真器,作为研究抓握的工具,它可以适应任意手和机器人设计。

兼顾灵巧手抓取数据的多样性和数量

机器人灵巧抓握是实现类似人类的灵巧物体操纵的第一步,因此是一项至关重要的机器人技术。然而,与使用平行夹持器的物体抓握相比,灵巧抓握的探索程度要低得多,部分原因是缺乏大规模数据集。在这项工作中,银河通用团队展示了一个大规模机器人灵巧抓握数据集 DexGraspNet,它由银河通用团队提出的高效合成方法生成,可普遍应用于任何灵巧手。银河通用团队的方法利用深度加速可微分力闭合估计器,因此可以高效、稳健地大规模合成稳定且多样的抓握。银河通用团队选择了 ShadowHand,并为 5355 个物体生成了 132 万个抓握,涵盖了 130 多个物体类别,每个物体实例包含 200 多种不同的抓握,所有抓握都经过了 Isaac Lab 仿真器的验证。与刘等人之前的数据集相比,由 GraspIt! 生成的数据集不仅包含更多物体和抓握,而且多样性和质量更高。通过进行跨数据集实验,银河通用团队表明,在银河通用团队的数据集上训练几种灵巧抓握合成算法的效果,明显优于在前一种算法上训练。

Weixin Screenshot_20240819181900.png

基于强化学习打造通用泛化灵巧手抓取技能模型

银河通用团队提出了一种新颖的、与对象无关的方法,用于在桌面环境下,从真实的点云观测和本体感受信息中学习灵巧物体抓取的通用策略,即 UniDexGrasp++。为了应对在数千个对象实例中学习基于视觉的策略的挑战,银河通用团队提出了几何感知课程学习 (GeoCurriculum) 和几何感知迭代通才-专才学习 (GiGSL),它们利用任务的几何特征,并显著提高通用性。通过银河通用团队提出的技术,其最终策略在数千个对象实例上显示出通用的灵巧抓取,在训练集和测试集上的成功率分别为 85.4% 和 78.2%,分别比最先进的基线 UniDexGrasp 高出 11.7% 和 11.3%。

Weixin Screenshot_20240819181938.png

探索灵巧手抓取模型的 Scaling Law

除上述内容,银河通用团队还借助 NVIDIA Isaac Lab 和 NVIDIA Isaac Sim 搭建灵巧手抓取模型的仿真测试环境,显著加速了对于灵巧手抓取模型 Scaling Law 的探索进程,以及灵巧手泛化抓取技能在真实应用场景中的落地进程。

推荐阅读
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息