前言
前段时间一直在弄golang,很少关注一些开源项目。正巧碰到一个,可以将模糊的照片或者视频修复清晰,且可以超分处理的项目。
看一下项目给出的效果图。
可以看出模型对于动漫插画也有不错的效果。
项目也列举了一些类似的项目,可以看到GFPGAN也在列。
如果大家对GFPGAN也感兴趣的话,可以参考我的另一篇文章去了解一下。
如何将模糊照片人脸恢复清晰,GFPGAN机器学习开源项目使用 | 机器学习_剑客阿良_ALiang的博客-CSDN博客
本篇文章主要对该项目进行一些简单的使用。
下载执行文件
可以直接下载项目的执行程序来跑跑看。
如果下载不了的,可以使用我下面的链接。
链接:https://pan.baidu.com/s/1Vqzp...
提取码:tuan
测试使用
解压后的目录结构如下图。
我们可以通过README文件,了解如何使用。
图片测试修复超分
我们看一下提供的图片及其分辨率。
打开CMD进入到文件夹位置。
执行命令如下:
realesrgan-ncnn-vulkan.exe -i input.jpg -o output.png -n realesr-animevideov3
执行结果如下,可以看到具体的进度。
最终生成了处理好的图片output.png,我们看一下生成的图片及其分辨率。
可以看到不管是清晰度还是分辨率都有提升。
视频测试修复超分
视频需要使用到ffmpeg进行视频拆分处理,如果没装过ffmpeg的,可以参考我的这篇文章。
windows ffmpeg安装部署_剑客阿良_ALiang的博客-CSDN博客_ffmpeg windows安装
先创建两个目录用来存放拆分和处理的图片帧。
先看一下提供的视频画面及其分辨率。
按照README里面的说明,分为三步来处理。
step1
ffmpeg -i onepiece_demo.mp4 -qscale:v 1 -qmin 1 -qmax 1 -vsync 0 tmp_frames/frame%08d.jpg
执行后tmp_frames目录产生了拆分后的图片帧。
step2
realesrgan-ncnn-vulkan.exe -i tmp_frames -o out_frames -n realesr-animevideov3 -s 2 -f jpg
这一步执行的时间会比较长。
step3
ffmpeg -i out_frames/frame%08d.jpg -i onepiece_demo.mp4 -map 0:v:0 -map 1:a:0 -c:a copy -c:v libx264 -r 23.98 -pix_fmt yuv420p output_w_audio.mp4
将out_frames内的图片压缩为视频,看一下最后的视频质量。
可以看出清晰度和分辨率也有了不小的提高。
总结
这个项目比较吸引我的还是其对动漫插图的支持,有专门的模型。
最近在学习第一性原理,我好好思考了一下。其实我们在归纳法和演绎法两种方法层面,只是下意识的会选择第一种。还是要多站在事情之外,调整自己的思考方式,才能有更多的视野。
作者:社会演员多
文章来源:AI技术聚合
推荐阅读
更多芯擎AI开发板干货请关注芯擎AI开发板专栏。欢迎添加极术小姐姐微信(id:aijishu20)加入技术交流群,请备注研究方向。