11月9日，在 2021 年度 GTC 大会上，英伟达创始人兼 CEO 黄仁勋公布了一系列最新技术，从自动驾驶汽车到虚拟化身、再到机器人乃至地球气候建模，英伟达正着力拓展真实与虚拟世界的模拟边界。英伟达认为，黄仁勋此次公布的新技术，有望颠覆价值数万亿美元的庞大产业体系。
英伟达的元宇宙计划
黄仁勋首先展示了英伟达 Omniverse（用于 3D 工作流程的虚拟世界模拟与协作平台）如何将英伟达引以为傲的技术结合起来。
黄仁勋表示，“我们的发展主题始终不变 — Omniverse 将在仓储、车间与车房、物理及生物系统、5G 边缘场景、机器人、自动驾驶汽车乃至化身的数字孪生等层面提供模拟功能。”
关于 Omniverse，黄仁勋强调，“我们现在已经拥有了能够创建新的 3D 世界，或者对真实物理世界进行建模的技术。”
据悉，Omnivers 的新能力包括：
- Omniverse Avatar 连接了 NVIDIA 的语音 AI、计算机视觉、自然语言理解、推荐引擎和模拟方面技术，是一个能够用于生成交互式 AI 虚拟化身的技术平台。
- Omniverse Replicator 是能够生成用于深度神经网络的合成数据的强大引擎。
Omniverse 内的新功能包括：
- NVIDIA CloudXR 是一个企业级沉浸式串流框架，已经集成到 Omniverse Kit（用于构建原生 Omniverse 应用程序和微服务的工具包），允许用户以交互方式将 Omniverse 体验串流至他们的移动 AR 和 VR 设备。
- Omniverse VR 推出领先的完全图像、实时光线追踪 VR – 支持开发者在平台上构建自己的 VR 工具，最终用户可以直接享受 VR 功能。
- Omniverse Remote 提供 AR 功能和虚拟摄像头，支持设计师查看他们通过 iOS 和 Android 设备全光线追踪的资产。
- Omniverse Farm 允许团队同时使用多个工作站或服务器，为渲染、合成数据生成或文件转换等任务提供支持。
- Omniverse Showroom 作为 Omniverse 公测版中的应用程序提供，允许非技术用户使用 Omniverse 技术演示，展示平台的实时物理和渲染技术。
NVIDIA 还宣布 Omniverse Enterprise 已进入正式发布阶段。它允许跨多个软件套件工作的全球 3D 设计团队在共享虚拟空间中通过任意设备实时协作。
自去年 12 月发布 Omniverse 公测版以来，已有 70000 多个创作者下载。此外，还有 700 多家公司的专业人士使用。
此次发布尽显英伟达对元宇宙的畅想和愿景。Bernstein 的分析师斯 Stacy Rasgon 认为，黄仁勋的演讲将进一步激发人们对于元宇宙的兴奋感。
Omniverse Avatar
为了帮助开发者们使用 Omniverse 创建出能够观察、言说、就各类主题开展讨论并理解自然语言表达含义的交互式角色，英伟达宣布推出 Omniverse Avatar。
Omniverse Avatar 是一个生成交互式 AI 虚拟形象的技术平台，英伟达表示，这些技术可以用于支持一系列虚拟代理。在该平台上创建的虚拟形象是具有光线追踪 3D 图像效果的交互式角色，可以看到、说话、谈论各种主题，以及合理地理解表达意图。
Omniverse Avatar 所使用的语音 AI、计算机视觉、自然语言理解、推荐引擎、面部动画和图像元素，通过以下技术实现：
- 其语音识别基于 NVIDIA Riva。这个软件开发工具包可以识别多种语言的语音。Riva 还可通过文本语音转换功能生成接近真人的语音反馈。
- 其自然语言理解基于 Megatron 530B 大型语言模型。该模型可以识别、理解和生成人类语言。Megatron 530B 是一个预训练模型，它可以在很少或没有训练的情况下完成句子、回答主题广泛的问题、总结长而复杂的故事、翻译成其他语言，并应对许多它未接受过专门训练的情景。
- 其推荐引擎由 NVIDIA Merlin™提供。该框架使企业可以建立能够处理大量数据的深度学习推荐系统，以提出更明智的建议。
- 其感知功能来自用于视频分析的计算机视觉框架——NVIDIA Metropolis。
- 其虚拟形象动画由 AI 赋能的 2D 和 3D 面部动画和渲染技术——NVIDIA Video2Face 和 Audio2Face™驱动。
这些技术被集成在一个应用，并使用 NVIDIA 统一计算框架进行实时处理。这些技术被打包成可扩展、自定义微服务后，能够通过 NVIDIA Fleet Command™在多个地点安全地部署、管理和协调。
Omniverse Avatar 可以根据各个行业的需求定制。AI 助手可以帮助处理数十亿次日常客户服务互动，如餐厅订单，银行交易，个人预约和预订等。
黄仁勋展示了 Project Maxine for Omniverse Avatar 如何将计算机视觉、Riva 语音 AI 以及化身动画与图像结合起来，构成一个能够实时对话的 AI 机器人。
黄仁勋展示了 Project Maxine for Omniverse Avatar 如何将计算机视觉、Riva 语音 AI、化身动画与图像共同结合起来，构成一个能够实时对话的 AI 机器人——图中为黄仁勋的 Omniverse Avatar 玩偶。
他还带来了 Project Tokkio 演示，这是餐厅销售台场景中的客户服务化身，能够看到客户、与两位客户同时交谈并理解对方的意图。该角色使用面部跟踪技术与顾客保持眼神交流，并对他们的面部表情做出回应。
不过，黄仁勋在演示中指出，虚拟化身的响应时间只有两秒，比人类的响应时间还慢，如果顾客赶时间，势必会引起不满。
黄仁勋还展示了 Project Maxine 为虚拟协作及内容创建类应用提供的先进视频与音频功能。
在一段演示中，一位女士在嘈杂的咖啡厅内使用英语进行视频通话，但接听方听到的却是消去背景噪音、清晰顺畅的语音结果。另外，她说的话可以被实时转录并翻译为法语、德语和西班牙语。更有趣的是，在 Omniverse 的帮助下，所有这些翻译后的语言内容都由虚拟化身以与她相同的声音和语调表达了出来。
黄仁勋表示：“智能虚拟助手的前景一片光明。Omniverse Avatar 将我们的基础图像、模拟和 AI 技术结合在一起，打造出一些有史以来最复杂的实时应用。协作机器人和虚拟助手的案例令人难以置信，影响深远。”
Omniverse Replicator
为了帮助开发人员获取训练 AI 模型所需要的大量数据，英伟达宣布推出 Omniverse Replicator——一套用于训练深度神经网络的合成数据生成引擎。
英伟达共开发出两种 replicator：一种用于通用型机器人技术，即 NVIDIA Isaac Sim™；另一种用于自动驾驶汽车，即 NVIDIA DRIVE Sim™。
真实世界数据是昂贵、费力、需要人工标记的，它容易出错且不完整，而 Omniverse Replicator 扩展了这些数据，该引擎能够创建大量、多样化的精确物理数据以满足自动驾驶汽车和机器人开发者的需求。
这两个 Replicator 应用使开发者能够以人类无法做到的方式引导 AI 模型、填补现实世界的数据空白，并标记真值数据。在这些虚拟世界中产生的数据可以涵盖各类不同场景，包括在现实世界中无法经常经历或安全体验的罕见和危险情况。
使用这些数据构建的自动驾驶汽车和机器人可以在一系列虚拟环境中掌握技能，然后再应用到物理世界中。Omniverse Replicator 已成为 NVIDIA DRIVE 自动驾驶汽车团队和 Isaac 机器人团队的重要数据生成引擎。该引擎将于明年上线，帮助开发者构建特定领域数据生成引擎。
AI 模型与系统
AI 大模型毫无疑问是今年的热点。
演讲中，黄仁勋介绍了英伟达在预训练大模型方面的进展。
黄仁勋介绍了英伟达的训练大型语言模型 Nemo Megatron（威震天）。他表示这类模型“将成为有史以来规模最大的主流高性能计算（HPC）应用”。
新的 NeMo 威震天框架可以使企业克服训练复杂的自然语言处理模型的挑战，训练具有数万亿参数的语言模型。结合英伟达 DGX™系统，这些工具提供了一个生产就绪的企业级解决方案，以简化大型语言模型的开发和部署。
作为现代数据科学中的一种重要数据结构，大家现在可以利用 Deep Graph Library（简称 DGL）这个全新 Python 包将图数据投射至各类深度神经网络框架当中。
在高性能计算领域，英伟达发布了一个可以构建并训练出能够学习并遵循物理定律的机器学习模型 Modulus。它是为构建能够大规模执行物理模拟的人工智能而设计的。这些模型的数据既来自真实世界，也来自对数字孪生的模拟。模数的设计充分利用了英伟达计算架构在大型超级计算机上的优势。
能够适应各类工作负载的推理服务器 Triton 也迎来升级，现在能够推理森林模型并为大型语言模型执行多 GPU 多节点推理。Triton 目前有 2.5 万多家客户在使用。Triton Inference Server 软件的关键更新包括与 Amazon SageMaker 的新集成，对 Arm cpu 和多 gpu 多节点功能的支持。
黄仁勋还介绍了三个新库。
- ReOpt——用于价值 10 万亿美元的物流产业。
- cuQuantum – 用于加速量子计算研究。
- cuNumeric – 用于帮助 Python 社区的科学家、数据科学家、机器学习及 AI 研究人员们实现 NumPy 加速。
为了将英伟达 AI 技术服务进一步推向边缘场景，黄仁勋又带来了英伟达 Launchpad。目前英伟达正与全球数据中心巨头 Equinix 合作，计划将英伟达 AI 技术预安装并整合至全球多处数据中心。
全栈、数据中心规模的开放平台
黄仁勋表示，加速计算催生出现代 AI，而由此掀起的浪潮正在席卷整个科学及工业世界。
这个时代始于三种芯片——GPU、CPU 与 DPU，各类系统（DGX、HGX、EGX、RTX 及 AGX）也开始由云端扩展至更多边缘地带。
英伟达为全球 300 万开发者创建出 150 个加速库，用途涵盖图形、AI、科学及机器人等多个领域。
在本次 GTC 大会上，英伟达再次发布 65 项全新及更新 SDK，包括 CuNumeric——一个为 Python 社区的科学家、数据科学家和机器学习研究人员加速 NumPy 的新库。它实现了 NumPy API，可以自动扩展到多 gpu 和多节点系统，无需任何代码更改。
黄仁勋指出，“英伟达加速计算已经成为一套全栈、数据中心规模的开放平台。”
他还同时介绍了“有史以来最先进的网络平台”— 英伟达 Quantum-2，将配合 BlueField-3 DPU 迎接云原生超级计算新时代。
Quantum-2 由 Nvidia Quantum-2 交换机、ConnectX-7 网络适配器和 BlueField-3 数据处理单元和支持软件组成。据称，Quantum-2 能够提供云计算服务商及超级计算中心所需要的极致性能、广泛的可访问性及强大的安全保障。
黄仁勋说，随着超级计算中心开始向更多研究人员开放访问，云计算供应商开始提供超级计算服务，英伟达的 Quantum-2 平台，为超级计算机架构提供了重要的改变。
“Quantum-2 是第一个提供超级计算机性能和云计算共享能力的网络平台”， 黄仁勋说，“这在以前是不可能的。有了 Quantum-2，你的超级计算机将是原生云计算，并且得到更好的利用。”
如今，网络安全已经成为企业乃至全球各国面临的首要问题，黄仁勋公布了一套基于三大支柱的零信任应对框架。
其中 BlueField DPU 负责将应用程序与基础设施隔离开来，作为最新 BlueField SDK 的英伟达 DOCA 1.2 用于支持下一代分布式防火墙；而英伟达 Morpheus 则假设入侵者已经驻留在内部系统当中，并使用“加速计算与深度学习等超能力检测对方活动”。
机器人
英伟达的 Isaac 生态系统目前已经吸引到全球 700 多家企业及合作伙伴，而且参与者数量过去四年内已经快速增长了 5 倍。
黄仁勋宣布，英伟达 Isaac 机器人平台现可轻松被集成至机器人操作系统（简称 ROS）当中，与后者中得到广泛应用的机器人应用软件库及工具顺畅协同。
以 Omniverse 为基础构建而成的 Isaac Sim 则成为有史以来仿真度最高的机器人模拟器。黄仁勋强调，“我们的目标是让机器人分不清自己身处模拟世界、还是真实场景。”
为了达成这个目标，Isaac Sim Replicator 能够生成合成数据以训练机器人。
Replicator 模拟传感器会生成经过自动标记的数据，并使用域随机化引擎创建出丰富多样的训练数据集。
自动驾驶汽车
黄仁勋认为，“到 2024 年，绝大多数新的电动汽车都将具备强大的自动驾驶能力。”而展望未来，一切车辆都将在很大程度上、彻底完全实现自主运作。
英伟达 DRIVE 是英伟达面向自动驾驶汽车打造的全栈开放平台，而 Hyperion 8 则是英伟达的最新完整硬件与软件架构。
DRIVE Hyperion 8 是一款用于全自动驾驶系统的计算机架构和传感器。最新一代的技术是为最高水平的功能安全而设计的。其传感器套件包含 12 个摄像头、9 个雷达、12 个超声波雷达与 1 个前置激光雷达，所有信息均由两个英伟达 Orin SoC 负责处理。
黄仁勋还详细介绍了 Hyperion 中内置的几项新技术，包括 Omniverse Replicator for DRIVE Sim——一种基于 Omniverse 的自动驾驶汽车合成数据生成器。DRIVE Sim 可以缩小虚拟世界和现实世界之间的差距，提高逼真度，帮助自动驾驶汽车更好地感知和导航环境，并对快速变化做出反应。
英伟达目前还运行有一套基于 Hyperion 8 传感器、4D感知以及深度学习技术的全新多传感器融合、特征跟踪与规划引擎。
以这些技术成果为技术，汽车的内部也将迎来革命性的变化。英伟达 Maxine 技术将重新设计人类与车辆之间的交互方式。
黄仁勋总结道，“有了 Maxine，汽车将变身为贴心的礼宾服务”。他宣布，DRIVE Hyperion 可以用于 2024 年的车型。
Earth Two
最后，黄仁勋宣布英伟达将打造 E-2 项目，即 Earth Two 地球二号，用以模拟并预测蔚蓝星球上的气候变化。
“地球 2 号”是英伟达于 6 月推出的价值 1 亿美元的超级计算机“剑桥 1 号”之后的又一个新产品。“剑桥 1 号”可供医疗保健研究人员使用。
他甚至做出断言，“截至目前，我们发明的一切技术都是让 Earth Two 成为可能的必要条件，我想不出比这更伟大、更重要的消息了。”
英伟达没有详细说明 E2 的架构，但黄仁勋表示，要对地球气候进行足够详细的建模，以准确预测未来 10 年、20 年或 30 年的气候，是一个极其困难的问题，气候模拟比天气模拟困难得多。英伟达正在使用其新的模数框架开发物理机器学习模型来解决这个问题。
尽管地球 2 号的畅想充满想象力和富有远见，不过有分析人士认为，细节的缺乏让人怀疑 E2 是否真的存在。
本文转自 公众号：AI前线 ，作者刘燕，核子可乐，点击阅读原文
