NVIDIA Clara Guardian 是一个应用框架，同时也是一种合作伙伴生态系统，它可以利用多模态 AI 简化智能传感器的开发和部署，可应用于医疗健康设施的各个位置。借助各种各样的预训练模型、参考应用和设备群管理解决方案，开发者能够以更快的速度构建解决方案，从而将 AI 引入医疗健康设施，并提高患者护理水平。
Clara Guardian 的关键组件包括医疗健康预训练模型，该模型适用于计算机视觉和语音、训练工具、部署 SDK 和 NVIDIA Fleet Command。NVIDIA Fleet Command 是一个混合云平台，可支持在数百万台服务器或医院的边缘设备中安全管理并扩展 AI 部署。
这使得生态系统合作伙伴可以轻松将 AI 功能添加到常用传感器中，从而监控人群的安全社交距离、测量体温、检测是否佩戴口罩等防护装备，或与高风险患者进行远程交互，从而在保护医疗健康机构人员安全的同时，还能让他们随时了解状况。
应用和服务可以在各种硬件上运行，因此，开发者能够在从边缘到云端的任意位置安全地进行部署。
NVIDIA Clara Guardian 功能特性
- 提供解决方案
利用高性能的预训练模型在医疗健康领域构建精确 AI。
- 云原生，边缘优先
快速扩展软件，并在边缘轻松部署应用。
- 安全管理
在数十台，甚至多达数百万台的服务器或边缘设备上安全地管理和扩展 AI 部署。
医疗健康领域专用的预训练模型
- 适用于语音的 Clara Guardian
适用于语音的 Clara Guardian 是 Riva 对话式 AI 功能针对医疗健康领域的特定版本。
- 对于自动语音识别（ASR）功能，模型执行离线识别和串流识别两种模式，可自动添加标点符号、输出字词时间戳并返回前 n 个脚本。
- 我们推荐使用 CitriNet 这个基于端到端卷积 Connectionist Temporal Classification（CTC）的全新 ASR 模型。CitriNet 模型会接收音频片段，并将其转写为字母、字节对或词片段序列。CitriNet 已在 ASR 数据集上进行训练，在没有任何外部 LM 的情况下，它可以在 LibriSpeech test-other 上达到 6.22% 的误字率（WER），并且在各种硬件 / GPU 上高效运行，如此处所示。
- Conformer-CTC 模型是用于自动语音识别的 Conformer 模型的非自回归变体，该模型使用 CTC 损失 / 解码代替 Transducer。
- 对于自然语言理解（NLU）功能，深度学习模型通过编码向量理解上下文，并为特定语言任务（如预测下一个单词和文本摘要）提供适当的输出。
- 对于文本转语音（TTS），有一款基于 FastPitchHifiGanE2E 的语音合成模型。FastPitchHifiGanE2E 是一个端到端的非自回归模型，可将文本转化成音频。它将 FastPitch 和 HiFiGan 组合成一个模型，并以端到端方式联合训练。
- 语音模型（ASR、NLP 和 TTS）可用于截取、处理和响应患者在医疗健康设置中可能提出的常见请求。
* 适用于计算机视觉的 Clara Guardian
适用于计算机视觉的 Clara Guardian 是 DeepStream 和 Riva 计算机视觉功能在医疗健康领域的特定版本。
Clara Guardian 包含可用于手势识别、心率监测、口罩检测和身体姿态估计的预训练模型。
- 身体姿态估计可用于检测身体中重要关节和面部特征的位置（眼睛、耳朵、肘部、肩膀、手腕、臀部、膝盖、脚踝、鼻子、颈部等），从而建立患者监控 AI 模型。
- 手势识别模型可以识别一系列常见的手势（挥手、表示同意、竖大拇指、表示制止等）。
- 仅通过观察人脸的视频流，心率估计模型就可以获得一个人的心率数据。
预编译的 NVIDIA TensorRT 引擎已在 NVIDIA GPUs 上进行优化。
- 借助 Fleet Command 进行安全管理
NVIDIA Fleet Command 是一个混合云平台，可以跨数十台到数百万台服务器或边缘设备，安全地远程部署、管理和扩展 AI。管理员无需花费数周时间规划和执行部署，只需几分钟即可将 AI 扩展到医院。管理员能够在一个控制面板中实现整个 IT 部门的相关操作，从而管理 AI 应用的生命周期、通过无线以及远程监控和访问系统更新系统软件。
端到端 AI 解决方案
Clara Guardian 包含经 GPU 优化的组件，可加速应用开发的各个阶段。
训练
- 一系列医疗健康领域专用的预训练计算机视觉和对话式 AI 模型，适用于各种用例。
- NVIDIA NeMo，为 ASR、NLP 和 TTS 构建对话式 AI 模型。
- TAO 工具套件，可创建零编码且高度准确的计算机视觉模型。
部署
- NVIDIA Riva 用于部署融合了视觉、语音和其他传感器数据的对话式 AI 模型。
- NVIDIA DeepStream SDK 借助传输层安全性（TLS）协议，提供多平台可扩展的视频分析框架，可在边缘进行部署，可连接到任意云。
点击阅读原文，了解更多 NVIDIA Clara Guardian 相关内容。
