案例简介
本案例中,智元机器人基于 NVIDIA Isaac GR00T-Teleop & GR00T-Mimic 提供的远程仿真操作功能和强大的模仿学习合成数据生成工作流,打造了支持高保真模拟和多维度泛化的大型机器人仿真框架 Genie Sim,并推出 AgiBot Digital World(agibot-digitalworld.cn)机器人海量仿真数据集。
本案例中使用了 NVIDIA Isaac GR00T。
NVIDIA Isaac GR00T加速仿真数采方案
模仿学习是机器人技术发展的关键方向之一,通过观察和模仿人类专家的示范,机器人能够快速掌握新技能。然而,高质量示范数据的采集往往耗时费力且成本高昂,这严重制约了机器人学习的效率。
为了解决这一难题,智元机器人推出了基于 NVIDIA Isaac GR00T-Teleop 和 GR00T-Mimic 技术的仿真大规模数据采集方案和海量开源仿真数据集 AgiBot Digital World,更高效地解决机器人数据稀缺的问题。
智元的仿真数据生成方案借助 Isaac Sim 高度逼真的视觉渲染和精确的物理引擎,精准还原机器人的训练环境,并结合 GR00T-Teleop 远程操作和 GR00T-Mimic 的数据增广技术,快速生成高质量且多样化的专家轨迹数据。
这不仅大幅降低了数据采集的成本和时间,还为机器人模型训练提供了丰富的仿真数据资源,帮助机器人更高效地融入人类社会,推动各行各业的智能化转型。
运用 GR00T-Teleop 加速仿真机器人数据采集
智元机器人利用 GR00T-Teleop 打造了更加高效易用的仿真遥操作方法。GR00T-Teleop 是 NVIDIA Project GR00T 的核心模块之一,它通过 VR/AR 设备实现实时远程操控,将远程操作数据流传输到 NVIDIA Isaac Sim 和 NVIDIA Isaac Lab,使操作者能够精准控制机器人在仿真环境中完成复杂动作和任务,为模仿学习提供高质量的仿真训练数据,显著降低了机器人技能开发的门槛。
GR00T-Teleop 支持基于 Apple Vision Pro 的远程操作,智元在此基础上与 NVIDIA 联合开发,推出了适配 PICO 的远程操作解决方案。这一创新方案已成功集成到 Genie Sim 仿真框架,为大规模仿真数据生产与开源计划提供了强大的数据采集支持,进一步拓宽了技术的应用场景,让机器人数据采集更加高效便捷。
Genie Sim 基于 GR00T-Teleop 的仿真远程操作架构
用户通过佩戴 PICO VR 设备,利用手柄实时控制 Isaac Sim 中智元 AgiBot G1 机器人的手臂、腰部和底盘运动。其中,手臂的控制最为复杂,系统需要实时读取机器人的当前关节角度。当用户移动手柄时,控制指令会同步发送到仿真系统。基于逆运动学算法,系统会结合当前关节角度与指令数据,实时解算出目标关节角度,并驱动仿真环境中的机器人完成精准的关节位姿控制。
这一过程实现了从指令输入到动作执行的高效闭环,充分展现了远程操作技术在机器人仿真控制中的核心作用与强大能力。
通过 GR00T-Mimic 实现从人工示教到海量泛化
在 GR00T-Teleop 为具身大模型训练提供高效且拟人的仿真数据采集功能的基础上,智元机器人还运用 GR00T-Mimic 以少量人类示范生成大量合成运动轨迹数据,实现数据采集规模的指数级扩展。
智元机器人将 GR00T-Mimic 深度集成至 Genie Sim 仿真框架中。通过对 GR00T-Teleop 采集的初始轨迹数据进行智能泛化,智元仿真团队成功将其扩展为数千条高精度运动轨迹。这些轨迹在 Isaac Sim 仿真环境中进行自动化验证后,被高效转化为具身大模型的训练数据。
这一创新流程不仅大幅提升了仿真数据采集效率,更为具身大模型训练提供了前所未有的高质量仿真数据集,为智能机器人的算法研发打造了坚实的数据基础。
智元 Genie Sim:加速机器人开发的仿真框架
智元机器人的 Genie Sim 仿真框架通过深度集成 GR00T-Teleop 和 GR00T-Mimic 技术,结合大规模、高精度的三维资产库,为开发者提供了高效的数据生成能力。
基于 NVIDIA 的强大计算平台和智元的创新应用,开发者能够在短时间内积累海量机器人仿真数据,显著降低数据采集成本,同时提升数据多样性与质量。这一能力为机器人模型的训练与优化奠定了坚实基础。
此外,智元机器人的仿真框架构建了从轨迹生成、模型训练、基准测试到部署验证的完整评估闭环,并通过高效的仿真工具链,帮助用户快速验证算法性能并优化模型。无论是简单的抓取任务还是复杂的长程操作,Genie Sim 都能提供高度还原的仿真环境与精准的评测指标,助力开发者高效完成机器人技术的开发与迭代。
通过与 NVIDIA 的深度合作,智元进一步提升了仿真框架的性能与可扩展性,为机器人技术的创新与应用落地提供了强有力的支持。
*本文图片来源于智元机器人,如果您有任何疑问或需要使用图片内容,请联系智元机器人。