影像记录的方式让我们有机会直观的感受历史,一张张照片、一段段视频,承载的是一代代人的记忆。利用着色和还原技术修复老照片,成为了我们回忆亲人,回顾历史的新方法。
最近,GitHub 上就有一个名为 DeOldify 的黑白影像还原工具受到了很多关注,目前 Star 数已经破万了。值得一的是,这个项目还是开源的!
三种模型各有所长
DeOldify 可以对旧图像和胶片进行着色和还原,在 DeOldify 中可以选择三种模型,每一个都有关键的优点和缺点,因此具有不同的用例。
艺术性模型:该模型在有趣的细节和鲜艳度方面实现了图像着色的最高质量结果。但是,最明显的缺点是,要获得最佳结果要花些力气,必须调整渲染分辨率或 render_factor 才能实现此目的。该模型在一些关键的常见场景,包括自然场景和肖像中表现不佳,它的重点放在解码器端的层深度上。
稳定性模型:该模型在横向和纵向条件下可获得最佳效果,通常比艺术色具有更少的怪异色泽,该模型着重于解码器侧的层宽度。
视频模型:此模型针对平滑,一致和无闪烁的视频进行优化。这肯定是这三种模型中色彩最少的一种,但是说实话,它与“稳定”相差不远。该模型在架构上与“稳定”相同,但在训练上有所不同。
虽然旧照片还原技术让我们有机会看到过去你十年甚者上百年前的真实影像,但它仍可能存在一个问题,那就是这些照片和视频的颜色还原是否准确?
以下面这张图为例,还原出的照片中,桥的颜色是白色的,但经过调查,这座桥其实是红色的。也就是说,对于旧照片还原技术来说,历史准确性仍然是一个巨大的挑战。
NoGAN 是啥?为啥用了它图像色彩更稳定?
什么是 NoGAN ?
这是 DeOldify 创建者开发的一种新型 GAN 训练,用于解决以前的DeOldify模型中的一些关键问题。大部分训练时间都花费在通过更直接、更快速、更可靠的常规方法分别对生成器和注释器进行预训练。这种方法可以消除故障和伪影。
原始 DeOldify 模型:
基于 NoGAN 的 DeOldify 模型:
影像修复技术中,稳定的还原视频图像非常有难度。DeOldify 采用了 NoGAN 训练结合 GAN 训练的方式,不仅可以提供稳定的色彩图像修复,还能消除视频中的闪烁。
视频是使用隔离的图像生成来渲染的,而无需附加任何时间建模,一次使用 1% 到 3% 的 imagenet 数据。然后,与静止图像着色一样,在重建视频之前对各个帧进行“ DeOldify”处理。
除了提高视频稳定性之外,还有一件有趣的事情值得一提。虽然不同的模型和具有不同的培训结构的模型,但都都或多或少地得出相同的解决方案。甚至对任意的和不可知的事物进行着色的情况也是如此,例如衣服,汽车的颜色,甚至是特殊效果的颜色。
对此,DeOldify 的创建者猜测,这些模型正在学习一些有趣的规则,以根据黑白图像中存在的细微提示来着色。即使在运动场景中,这些渲染的结果也非常一致。
关于开源支持的声明
开源已经为世界带来了很多好处,DeOldify 的创建也得益于开源。
DeOldify 的创建者在声明中表示,“我们的立场是,我们提供的研究代码和文档,是有益于世界的。我们所提供的是关于彩色化、广域网和视频的新颖表现,希望对开发人员和研究人员有所帮助,以供学习和采用。”
他们并不打算提供一个可以随时使用的免费“产品”或“应用程序”,并且未来也不打算提供这种服务。他们说:“DeOldify 将继续是一个基于 Linux 的项目,没有 Windows 支持,用 Python 编码,并要求人们有一些额外的技术背景才能使用它。”
现在,已经有一些人通过 DeOldify 开发了自己的应用程序,有的是付费的,有的是免费的。对此,DeOldify 创建者的立场是,只要你有适当的背景和资源,则该项目将为你提供足够的入门资源。
安装细节
这个项目是围绕 Fast.AI 库构建的,现在已经可以使用 Anaconda 进行简单安装了。
具体步骤如下:
GitHub 地址:https://github.com/jantic/DeOldify#a-statement-on-open-source-support