AI学习者 · 4月19日

图片、视频修复并超分 – Real-ESRGAN项目使用(一) | 机器学习

前言

前段时间一直在弄golang,很少关注一些开源项目。正巧碰到一个,可以将模糊的照片或者视频修复清晰,且可以超分处理的项目。

项目github地址:GitHub – xinntao/Real-ESRGAN: Real-ESRGAN aims at developing Practical Algorithms for General Image/Video Restoration.

看一下项目给出的效果图。

image.png
image.png

可以看出模型对于动漫插画也有不错的效果。

项目也列举了一些类似的项目,可以看到GFPGAN也在列。

image.png

如果大家对GFPGAN也感兴趣的话,可以参考我的另一篇文章去了解一下。

如何将模糊照片人脸恢复清晰,GFPGAN机器学习开源项目使用 | 机器学习_剑客阿良_ALiang的博客-CSDN博客

本篇文章主要对该项目进行一些简单的使用。

下载执行文件

image.png

可以直接下载项目的执行程序来跑跑看。

如果下载不了的,可以使用我下面的链接。

链接:https://pan.baidu.com/s/1Vqzp...
提取码:tuan

测试使用

解压后的目录结构如下图。

image.png

我们可以通过README文件,了解如何使用。

image.png

图片测试修复超分

我们看一下提供的图片及其分辨率。

image.png

打开CMD进入到文件夹位置。

image.png

执行命令如下:

realesrgan-ncnn-vulkan.exe -i input.jpg -o output.png -n realesr-animevideov3

执行结果如下,可以看到具体的进度。

image.png

最终生成了处理好的图片output.png,我们看一下生成的图片及其分辨率。

image.png

image.png

可以看到不管是清晰度还是分辨率都有提升。

视频测试修复超分

视频需要使用到ffmpeg进行视频拆分处理,如果没装过ffmpeg的,可以参考我的这篇文章。

windows ffmpeg安装部署_剑客阿良_ALiang的博客-CSDN博客_ffmpeg windows安装

先创建两个目录用来存放拆分和处理的图片帧。

image.png

先看一下提供的视频画面及其分辨率。

image.png

按照README里面的说明,分为三步来处理。

step1

ffmpeg -i onepiece_demo.mp4 -qscale:v 1 -qmin 1 -qmax 1 -vsync 0 tmp_frames/frame%08d.jpg

执行后tmp_frames目录产生了拆分后的图片帧。

image.png

step2

realesrgan-ncnn-vulkan.exe -i tmp_frames -o out_frames -n realesr-animevideov3 -s 2 -f jpg

这一步执行的时间会比较长。

image.png

step3

ffmpeg -i out_frames/frame%08d.jpg -i onepiece_demo.mp4 -map 0:v:0 -map 1:a:0 -c:a copy -c:v libx264 -r 23.98 -pix_fmt yuv420p output_w_audio.mp4

将out_frames内的图片压缩为视频,看一下最后的视频质量。

image.png

可以看出清晰度和分辨率也有了不小的提高。

总结

这个项目比较吸引我的还是其对动漫插图的支持,有专门的模型。

image.png

最近在学习第一性原理,我好好思考了一下。其实我们在归纳法和演绎法两种方法层面,只是下意识的会选择第一种。还是要多站在事情之外,调整自己的思考方式,才能有更多的视野。

作者:社会演员多
文章来源:AI技术聚合

推荐阅读

更多芯擎AI开发板干货请关注芯擎AI开发板专栏。欢迎添加极术小姐姐微信(id:aijishu20)加入技术交流群,请备注研究方向。

推荐阅读
关注数
1617
内容数
21
搭载安谋科技“周易”NPU的芯擎AI开发板,支持各种AI模型部署。
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息