为提高安全性并优化运营,仓库、工厂、体育场、机场等大型区域通常会有数百个摄像头进行监控。多摄像头追踪指的是通过这些摄像头追踪对象,并精确测量其活动,以此实现对空间的有效监控和管理。
案例简介:在本案例中,银河通用的团队借助 Isaac Lab 搭建了具有挑战性的灵巧抓握基准 DexGraspNet,这是一个最近提出的基准套件,专门用于学习可泛化的灵巧抓握。DexGraspNet 包含 1.32M 个 ShadowHand 对 5355 个物体的抓握动作,比 DDG 之前的数据集大两个数量级。它具有 GraspIt!* 无法实现的多种抓握类型。
机器人需要具备很强的适应能力,能够随时学习新的技能并适应周围环境。但传统的训练方法会限制机器人将所学技能应用于新情况,常见的原因有感知与行动之间存在差距和难以将技能迁移到不同的情境中。
数字孪生能够有效地为工厂、零售空间等资产创建基于物理学的虚拟复制品,实现对现实世界环境的精确仿真。这使得大规模且具有特定用途的合成数据在现实世界的计算机视觉和 AI 工作流中变得越发重要。
智能交通系统 (ITS) 在现代城市环境中的应用正变得越来越有价值和普遍。使用 ITS 应用的优点包括:
伴随着视觉 AI 复杂性的增加,精简的部署解决方案已成为优化空间和流程的关键。NVIDIA 能够加快企业的开发速度,借助 NVIDIA Metropolis AI 工作流和微服务,企业只需数周就能将想法变成现实,而原本这项工作需要耗费数月时间。
借助 R515 驱动程序,NVIDIA 于 2022 年 5 月发布了一套开源的 Linux GPU 内核模块,该模块采用双许可证,即 GPL 和 MIT 许可。初始版本主要面向数据中心计算 GPU,而 GeForce 和工作站 GPU 则处于 Alpha 状态。
开发者可以访问新的 NVIDIA NIM 微服务,用于 Isaac Lab 和 Isaac Sim 中的机器人仿真、OSMO 机器人云计算编排服务和远程操作数据捕获工作流等
家庭和工业环境中的大多数物品都由多个部件组装而成。而装配工作一般交给人工,但在汽车等一些行业,机器人装配已十分普遍。
由于涉及复杂的动力学,为四足机器人制定有效的运动策略是机器人领域面临的重大挑战。在现实世界中训练四足机器人上下楼梯可能会损坏设备和环境,因此,在学习过程中,仿真器在确保安全和消除时间限制方面都发挥着关键作用。
由物理 AI 驱动的 AI 机器人时代已经来临。物理 AI 模型能够理解周围环境,并在物理世界中自主完成复杂的任务。许多复杂任务都难以编程(如灵巧的操作和人形机器人在崎岖的地形上运动),需要依赖在仿真环境中使用强化学习(RL)训练而成的生成式物理 AI 模型。
在一年一度的 AI 城市挑战赛中,来自世界各地的数百支参赛队伍在 NVIDIA Omniverse 生成的基于物理学的数据集上测试了他们的 AI 模型。
NVIDIA JetPack SDK 支持 NVIDIA Jetson 模块,为构建端到端加速 AI 应用提供全面的解决方案。JetPack 6 通过微服务和一系列新功能,扩展了 Jetson 平台的灵活性和可扩展性,是 2024 年截至目前下载量最高的 JetPack 版本。
比亚迪电子、西门子、泰瑞达和 Alphabet 旗下公司 Intrinsic采用 NVIDIA Isaac 机器人平台开发自主机械臂、人形机器人和移动机器人
NVIDIA DeepStream 是一款功能强大的 SDK,能够提供用于构建端到端视觉 AI 管线的 GPU 加速构建模块。凭借 40 多个现成插件,您可以部署具备领先 AI 推理技术、对象追踪功能,以及与常用的物联网消息代理(如 EDIS、Kafka、MQTT 等)无缝集成的全面优化的管线。
在 5 月 13 日至 17 日举行的 IEEE 国际机器人和自动化大会(ICRA)上,几何织物(geometric fabrics)成为一个热门的讨论话题。几何织物是 NVIDIA 机器人研究实验室成员与合作者共同提交的七篇论文的主题之一,并于 ICRA 上发表。
利用 NVIDIA Isaac Sim 和 NVIDIA Omniverse 开发的 ORBIT-Surgical 正在 ICRA 机器人大会上展出。
说到智能视频分析(IVA)应用(如交通监控、仓库安全和零售消费者分析)的感知,最大的挑战之一就是遮挡。例如,人们可能会移动到结构性障碍物后面,零售消费者可能由于货架而无法被完全看到,汽车可能会被隐藏在大型卡车后面。
工业制造中的许多拾取和放置问题仍然由人类操作员解决,为这些任务而编程机器人仍具有挑战性。例如,在机器维护环境中,作为复杂的多步骤零件制造过程的一部分,协作机器人可以用来从料仓中挑选原材料零件,并将其送入数控机床或弯曲机。
两家公司在芝加哥 Automate 展会上宣布将围绕 NVIDIA AI、Isaac Manipulator 和 Intrinsic 平台的使用展开合作。