NVIDIA Riva 可提供经过全面优化的流程,用于部署实时 AI 语音应用(例如转录和虚拟助理)。
什么是 NVIDIA Riva
NVIDIA Riva 是用于开发语音 AI 应用程序的 GPU 加速 SDK。Riva 旨在帮助您轻松快速地访问对话 AI 功能。只需几个命令,您就可以通过 API 操作访问高性能服务并尝试演示。
Riva SDK 包括预训练的语音 AI 模型,用于在自定义数据集上对这些模型进行微调的 NVIDIA TAO 工具套件,以及用于自动语音识别和语音合成的优化端到端技能。
使用 Riva,您可以轻松地对数据上的最新模型进行微调,以实现对其特定背景进行更深入的理解。优化推理,以提供运行时间为 150 毫秒(ms)的实时服务,而在仅有 CPU 的平台上则需要运行 25 秒。
特定任务的 AI 服务和 gRPC 端点提供开箱即用的高性能 ASR 和 TTS。这些 AI 服务经过数千小时的公共和内部数据集的训练,以达到高精确度。您可以开始使用预先训练的模型,或者使用您自己的数据集对其进行微调,以进一步提高模型性能。
Riva 使用 NVIDIA Triton Inference Server 为多个模型提供服务,以实现高效、稳健的资源分配,并在高吞吐量、低延迟和高精确度方面实现高性能。
NVIDIA Riva 2.0 功能亮点
- 出色的自动语音识别(ASR)和文字转语音(TTS)模型
- 除英语外,还支持西班牙语、德语和俄语
- 具有精细控制以实现语言表达的实时文本转语音流程
- 借助 NVIDIA TAO 工具套件轻松地针对自定义数据进行调优
- 能够扩展到成百上千个实时串流
- 使用单个命令部署服务的端到端工作流程和工具
Riva 开发者入门套件
使用 NVIDIA Riva 开发语音 AI 所需的各种套件,包括教程、Jupyter Notebook 和文档。复制链接,开始使用 Riva 开发者入门套件并了解相关内容。https://developer.nvidia.cn/z...
自动语音识别
- Riva ASR 视频入门
- 关于训练和部署的博客
- 联系中心示例应用
- 用于微调 ASR 模型的 Jupyter Notebook
- ASR 文档
文字转语音
- 虚拟助理示例
- 含 RASA 教程的虚拟助手
- 设置 TTS 服务示例
- 使用 SSML 自定义 TTS 示例
- TTS 文档
抢先体验版中已可使用 Riva 定制录音机
Riva 定制录音机是一款采用 Riva 文本转语音流程的工具,用于开发 AI 语音克隆。
复制链接,了解更多 NVIDIA Riva 入门及相关更新内容
https://developer.nvidia.cn/z...
NVIDIA 深度学习培训中心
NVIDIA 深度学习培训中心还推出了 NVIDIA Riva 相关免费课程,您可以复制链接查看课程详情。
- 使用 Riva 部署文本分类模型
您将学习如何使用 Riva ServiceMaker 框架部署文本分类模型。将 Riva 部署所需的所有组件聚合到目标部署环境的过程是快速而直接的。当模型部署在 Riva 中以后,您就可以向服务器发出推理请求。
详情请见:https://courses.nvidia.com/co...
- Riva Speech API 演示
您将了解如何与 Riva Speech 服务交互以处理各种对话式 AI 请求。