NVIDIA英伟达嵌入式系统 · 9月9日 · 北京市

DevZone | NVIDIA Optical Flow SDK

Optical Flow SDK 展示了 Turing GPU 和 Ampere GPU 的最新硬件功能,该功能专用于计算图像之间像素的相对运动。该硬件使用复杂算法来生成高度精确的流向量,这些向量对于帧到帧的强度变化具有鲁棒性,并可追踪真实的物体运动。

o-1.png
Turing 硬件生成的光流地图样本 --- 源素材

NVIDIA Optical Flow SDK 功能特性

  • 视频分析

准确检测和追踪连续视频帧中的物体,同时大大降低计算复杂性要求。

  • 实时性能

实时内插或外插视频帧,提高视频播放流畅度或降低 VR 体验延迟。

  • GPU 加速

已针对 Turing、Ampere 和未来代次的 NVIDIA GPU 架构进行优化。高速计算准确流向量,对 CPU 或 GPU 影响甚少。

光流引擎辅助的帧率提升转换库

Optical-flow-FRUC.jpg

最新的 Optical Flow SDK 3.1 版本引入了引擎辅助帧率提升转换(FRUC),它使用光流向量内插新帧,使视频的有效帧率翻倍。最终,视频播放的流畅度和视觉感知质量得以提升。

用于智能视频分析的物体追踪

OF2_005.png

Optical Flow SDK 2.0 引入了基于光流的物体追踪器库,以及源代码和即用型 API。在我们的实验中,经证明,基于光流的物体追踪器与一些热门算法相比,可将 GPU 利用率降低多达 80%,同时不会降低追踪的准确性。Optical Flow SDK 3.0 引入了 DirectX12 接口、前后流以及全局流向量。

视频帧内插和外插

OF_SDK_001b.png

光流还可以非常有效地用于实时内插或外插视频帧。这对于提高视频播放的流畅度、生成慢动作视频或在使用 Oculus 设备进行 VR 体验时大幅减少延迟非常有用。Turing 和 Ampere GPU 中的光流功能通过将密集的流向量计算卸载到 GPU 芯片上的专用硬件引擎以加速这些用例,从而腾出 GPU 和 CPU 资源来处理其他任务。此功能位于硬件中,独立于 CUDA Core。

相关资源

  • 开发者论坛

https://forums.developer.nvid...

  • GitHub - OpenCV 中的 NVIDIA 光流技术

https://github.com/opencv/ope...

复制链接,了解更多 NVIDIA Optical Flow SDK 相关内容
https://developer.nvidia.cn/o...

推荐阅读
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息