12

NVIDIA英伟达嵌入式系统 · 2022年09月03日 · 北京市海淀区

DevZone | NVIDIA Clara Guardian

NVIDIA Clara Guardian 是一个应用框架,同时也是一种合作伙伴生态系统,它可以利用多模态 AI 简化智能传感器的开发和部署,可应用于医疗健康设施的各个位置。借助各种各样的预训练模型、参考应用和设备群管理解决方案,开发者能够以更快的速度构建解决方案,从而将 AI 引入医疗健康设施,并提高患者护理水平。

Clara-1.jpg

Clara Guardian 的关键组件包括医疗健康预训练模型,该模型适用于计算机视觉和语音、训练工具、部署 SDK 和 NVIDIA Fleet Command。NVIDIA Fleet Command 是一个混合云平台,可支持在数百万台服务器或医院的边缘设备中安全管理并扩展 AI 部署。

这使得生态系统合作伙伴可以轻松将 AI 功能添加到常用传感器中,从而监控人群的安全社交距离、测量体温、检测是否佩戴口罩等防护装备,或与高风险患者进行远程交互,从而在保护医疗健康机构人员安全的同时,还能让他们随时了解状况。

应用和服务可以在各种硬件上运行,因此,开发者能够在从边缘到云端的任意位置安全地进行部署。

NVIDIA Clara Guardian 功能特性

  • 提供解决方案

利用高性能的预训练模型在医疗健康领域构建精确 AI。

  • 云原生,边缘优先

快速扩展软件,并在边缘轻松部署应用。

  • 安全管理

在数十台,甚至多达数百万台的服务器或边缘设备上安全地管理和扩展 AI 部署。

医疗健康领域专用的预训练模型

  • 适用于语音的 Clara Guardian

Clara-2.jpg

适用于语音的 Clara Guardian 是 Riva 对话式 AI 功能针对医疗健康领域的特定版本。

  • 对于自动语音识别(ASR)功能,模型执行离线识别和串流识别两种模式,可自动添加标点符号、输出字词时间戳并返回前 n 个脚本。
  • 我们推荐使用 CitriNet 这个基于端到端卷积 Connectionist Temporal Classification(CTC)的全新 ASR 模型。CitriNet 模型会接收音频片段,并将其转写为字母、字节对或词片段序列。CitriNet 已在 ASR 数据集上进行训练,在没有任何外部 LM 的情况下,它可以在 LibriSpeech test-other 上达到 6.22% 的误字率(WER),并且在各种硬件 / GPU 上高效运行,如此处所示。
  • Conformer-CTC 模型是用于自动语音识别的 Conformer 模型的非自回归变体,该模型使用 CTC 损失 / 解码代替 Transducer。
  • 对于自然语言理解(NLU)功能,深度学习模型通过编码向量理解上下文,并为特定语言任务(如预测下一个单词和文本摘要)提供适当的输出。
  • 对于文本转语音(TTS),有一款基于 FastPitchHifiGanE2E 的语音合成模型。FastPitchHifiGanE2E 是一个端到端的非自回归模型,可将文本转化成音频。它将 FastPitch 和 HiFiGan 组合成一个模型,并以端到端方式联合训练。
  • 语音模型(ASR、NLP 和 TTS)可用于截取、处理和响应患者在医疗健康设置中可能提出的常见请求。

* 适用于计算机视觉的 Clara Guardian
Clara-3.jpg
适用于计算机视觉的 Clara Guardian 是 DeepStream 和 Riva 计算机视觉功能在医疗健康领域的特定版本。

Clara Guardian 包含可用于手势识别、心率监测、口罩检测和身体姿态估计的预训练模型。

  • 身体姿态估计可用于检测身体中重要关节和面部特征的位置(眼睛、耳朵、肘部、肩膀、手腕、臀部、膝盖、脚踝、鼻子、颈部等),从而建立患者监控 AI 模型。
  • 手势识别模型可以识别一系列常见的手势(挥手、表示同意、竖大拇指、表示制止等)。
  • 仅通过观察人脸的视频流,心率估计模型就可以获得一个人的心率数据。

预编译的 NVIDIA TensorRT 引擎已在 NVIDIA GPUs 上进行优化。

  • 借助 Fleet Command 进行安全管理
    Clara-4.jpg
    NVIDIA Fleet Command 是一个混合云平台,可以跨数十台到数百万台服务器或边缘设备,安全地远程部署、管理和扩展 AI。管理员无需花费数周时间规划和执行部署,只需几分钟即可将 AI 扩展到医院。管理员能够在一个控制面板中实现整个 IT 部门的相关操作,从而管理 AI 应用的生命周期、通过无线以及远程监控和访问系统更新系统软件。

端到端 AI 解决方案
Clara-5.png
Clara Guardian 包含经 GPU 优化的组件,可加速应用开发的各个阶段。

训练

  • 一系列医疗健康领域专用的预训练计算机视觉和对话式 AI 模型,适用于各种用例。
  • NVIDIA NeMo,为 ASR、NLP 和 TTS 构建对话式 AI 模型。
  • TAO 工具套件,可创建零编码且高度准确的计算机视觉模型。

部署

  • NVIDIA Riva 用于部署融合了视觉、语音和其他传感器数据的对话式 AI 模型。
  • NVIDIA DeepStream SDK 借助传输层安全性(TLS)协议,提供多平台可扩展的视频分析框架,可在边缘进行部署,可连接到任意云。

点击阅读原文,了解更多 NVIDIA Clara Guardian 相关内容。

https://developer.nvidia.cn/z...

推荐阅读
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息