Jack-Cui · 2020年11月30日

AI 隐身术,能让物体在视频中消失的魔法

image.png

点赞再看,养成习惯,微信公众号搜索【JackCui-AI】关注这个爱发技术干货的程序员。本文 GitHub https://github.com/Jack-Cherish/PythonPark 已收录,有一线大厂面试完整考点、资料以及我的系列文章。

11 30 .png

1 前言

刚刚过去的 2020 年 ECCV,有一项 AI“隐身”技术引人瞩目。

正在坐秋千的小孩,突然只剩下秋千架。

 11  30.gif

让漫步的行人消失,让奔驰的汽车消失。

image.png

这么好玩的 AI 算法,你想学吗?

老规矩,今天,继续手把手教学。

算法原理、环境搭建、效果实现,一条龙服务,尽在下文!

2 FGVC

FGVC 的作者是一位 90 后北京小伙,目前在弗吉尼亚理工大学计算机工程专业就读博士三年级,师从华人教授 Jia-Bin Huang。

image.png

FGVC 算法本质上是一个基于光流法的视频修复算法。

光流法是视域中物体运动检测的概念,其用于描述运动所造成的观测目标、表面或边缘的运动,主要应用于计算机视觉和影像处理等。

使用光流法,可寻到不同帧之间的关系,并通过在不同帧之间传播信息来补全视频。

FGVC 主要包含三个步骤:Flow completion、Temporal propagation、Fusion。

Flow completion:具体操作时,要计算相邻帧之间的正向光流和反向光流、以及一组非相邻帧 (Non-local) 的正向光流和反向光流。

Temporal propagation:按照光流的轨迹,为每个丢失的像素找到一组候选像素,对于每个候选帧,都要估计一个置信分数以及一个二进制有效性指标。

Fusion:使用置信加权平均值,将每个缺失像素的候选像素与至少一个有效候选像素融合。对于没有候选像素,则使用一个关键帧,并使用单个图像补全技术来填充它。

更具体的原理,比如边缘引导的光流补充等,可以去「啃下」论文,学习一下。

Paper 地址:

https://arxiv.org/abs/2009.01835

3 环境配置

想要测试算法效果,先要部署下开发环境。

Github 开源项目地址:

https://github.com/vt-vl-lab/...

Github 下载慢的,可以下载我已经打包的代码(提取码:jack):

https://pan.baidu.com/s/1t\_EDDDgMCHBS83QFywuFdg

这里推荐使用 Anaconda 完成部署,不知道 conda 用法的,可以看下我写过的另一篇基础教程:

《别再折腾开发环境了,一劳永逸的搭建方法

FGVC 算法依赖于另外两个算法 DeepFill 和 RAFT。

所以,可以创建两个虚拟环境 FGVC 和 raft。

FGVC 环境使用 PyTorch 0.4.0,并配置算法 DeepFill 的环境。

DeepFill 环境配置方法:

https://github.com/nbei/Deep-...

直接使用指令安装依赖库:

pip install -r requirements.txt

raft 环境使用 PyTorch 1.6.0,并配置算法 RAFT 的环境。

RAFT 环境配置方法:

https://github.com/princeton-...

这里比较简单,使用 conda 安装需要的库即可。

都配置完毕,就可以测试算法效果了!

4 效果测试

先激活 raft 虚拟环境,直到运行结果出现提示:

「Please switch to Pytorch 0.4.0」

然后切换到 FGVC 虚拟环境,然后再运行一次代码。

Object removal:

cd tool

FOV extrapolation:

cd tool

想要计算速度更快些,可以去掉 seamless 参数。

算法需要 rgb 图片和 mask 图片,这些数据是已知的,想要去除什么物体,给个物体的 mask 即可。

image.png
运行效果示意图

11301.gif

5 最后

关注我带你玩转各种好玩的 AI 算法,我是 Jack Cui,我们下期见!

作者:Jack Cui
原文:https://mp.weixin.qq.com/s/2c...
关注作者公众号,获取更多有趣AI应用~
imagy.png

系列篇


更多AIoT领域有趣的算法应用及产品请关注有趣的AIoT应用专栏。
推荐阅读
关注数
2143
内容数
24
介绍有趣好玩的AIoT 实战项目,算法应用及软硬件产品。
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息