脑极体 · 2022年04月06日

张国荣《热·情》演唱会再现荧幕:AI修复解锁的经典与视听生活

每年的4月1日,都会有千万人自发地去追思张国荣。或重温影视片段,或听经典曲目,在哥哥生前倾注的心血中持续不断获得动力与力量。

熟悉张国荣的粉丝,可能都了解哥哥生前最后的一场演唱会——《热·情》。这场演唱会由其亲自担任艺术总监,从艺术构思到剧情式的曲目编排,承载着他对华语歌坛的满腔热忱。在张国荣阔别19年后,尘封的《热·情》演唱会母带,在AI技术的修复下,与粉丝重逢。

4月1日 ,由腾讯云多媒体实验室领先算法团队修复、腾讯音乐娱乐集团携手环球音乐旗下厂牌宝丽金,并联合腾讯云、微信视频号、腾讯视频等多个团队联合呈现的“张国荣2000年《热·情》演唱会超清修复版”全球首播。数千万粉丝共同见证了AI技术加持下的这场风华绝代的演唱会。

视频修复并不是新鲜的事物,相信大部分读者之前在社交平台中都刷到过用AI修复百年前老北京影片的新闻。许多经典老片、大荧幕电影都经过AI技术的修复,被重新搬上了荧幕。AI技术修复视频影像资料此前大都集中在影视领域,对于演唱会这类视频资料的修复较少见。虽然都是修复视频,但演唱会和影视类的视频修复还是有着较大的区别。

视频修复中的“长尾”困境

视频修复包含物理修复和数字修复,前者指对于胶片本身的修复,包括去除杂质、形变、划痕等流程,后者则主要集中在基于机器学习、深度学习这方面的全自动修复,AI技术的引入,在修复领域的核心价值就是尽可能用技术覆盖以前堆砌人力的方式,去减少人力与修复成本。

视频修复解决的是老旧影视资料中,画面雪花、划痕等造成视频素材清晰度、画面、色彩等造成的感官损失度感受。影视剧视频的修复,相对演唱会而言场景比较固定,镜头的运作以及整个画面比较稳定,从头到尾的艺术表达形式、整体的色彩风格比较统一。

但演唱会不一样,演唱会里面的灯光与画面镜头会有特别多的切换,尤其是在人脸修复方面,光影效果在现场看是助燃剂,但对于修复来说,就是复杂的“灾难”,对于修复的效果会造成特别大的影响。

脑极体跟此次《热·情》演唱会背后的修复技术专家也聊了下,有关演唱会修复背后的一些技术与故事。

腾讯多媒体实验室专家研究员夏珍介绍道,现在业界基本上很难找到基于视频的人脸修复,大部分的人脸修复只是基于图片或者单张照片,如果要用到视频上会遇到更多复杂的问题。比如每一帧中脸的角度不一样,如果是侧脸或者很小的脸以及很大的脸,各种角度和姿态的脸都需要在算法处理里面能够解决这些问题。
图片1.png

图片2.png
在演唱会修复中,不仅需要面对人脸本身的修复问题,还叠加了光影的影响。演唱会不仅有灯光并且颜色多变,打在人脸上后,如何运用智能算法,解决这些问题,是一项不小的挑战,并且在这其中,也会有技术不能解决的问题。

我们知道,在视频修复中,划痕和雪花点的数量越多,观赏的体验也就越差。修复领域,划痕的修复成本高昂,并且多数的划痕修复不可逆。并且业界也缺乏庞大的划痕公开数据库,这也使得算法难以调优,而搭建数据库的话,成本也非常昂贵。

演唱会这类视频的修复有着许多长尾问题,除了运用纯算法模型的方式之外,也需要一些人工参数的调整,比较费心思。

据腾讯多媒体实验室方面介绍,此次演唱会的修复工作用到的是实验室旗下的“超清沉浸感修复引擎”,这是面向老片修复场景的技术解决方案。整个演唱会的修复包括智能分析、画质修复、画质增强、智能编码四个步骤。通过多种AI评估算法对视频内容进行帧级别、场景级别和视频级别等多维度的智能分析。利用多种人工智能修复算法,针对老片场景下进行训练和优化,修复老片中常见的竖线、雪花点、噪声、压缩失真、抖动等问题。

图片3.png
从整体画面的主观感受上来看,修复后比以前的画面更清晰、更真实。这种真实感来自画质整体的增强,包括分辨率、色彩、帧率等方面的提升。在张国荣近景特写中,我们能够明显感受到他脸部的轮廓、毛孔、胡子都比老版要清晰很多。用数据来表示效果也十分明显,之前母带分辨率只有720×480的分辨率,修复以后接近4K高清画质,分辨率提升了6倍,整个画面的流畅度也有所优化。

除了腾讯外,不少技术团队也在加码高清视频修复技术,给老旧影视资料带来视听效果效率与体验的多维优化。

老影像里的新生意

高清视频修复经典作品,近两年是许多流媒体开始投入去做的事情,如爱奇艺、优酷、西瓜视频等,这些平台都将AI技术修复视频作为新的增长领域开拓。

爱奇艺自主研发了 ZoomAI 视频增强技术,可以基于多个算法模型实现去划痕污渍、超分辨率、去噪锐化、智能插帧,并支持4K高清的沉浸式观影效果。

图片4.png
(三毛流浪记修复对比图)

我们熟悉的老片《三毛流浪记》、红色电影《小兵张嘎》、《东方红》等140部经典影视也被爱奇艺重新修复为4K,搬上荧幕。为更好地推动经典修复的进程,爱奇艺也将高清视频修复作为未来发展的重点,启动了多个数字修复工程,联合产业与多个机构等,持续延续高清视频修复的公益与商业价值。

中影数字制作基地和中国科技大学,共同研发了一个基于 AI 的图像处理系统“中影·神思”。借助“中影·神思”系统,中影基地已经成功修复了《厉害了,我的国》《马路天使》《血色浪漫》和《亮剑》等多部影视剧。

中影数字制作基地修复中心主任对外披露,利用AI神思系统,修复一部电影的时间可以缩短四分之三,成本可以减少一半。

优酷也用阿里云的“画质重生”技术来修复老片。在优酷平台,修复的经典影视内容播放量增长迅速,苏有朋版本的《倚天屠龙记》一经修复,在优酷的播放量增长了450%。其他诸如《寻秦记》《士兵突击》《亮剑》等经典电视剧,经过AI视频修复后,都活跃在各大视频平台的榜单前列。

经典作品自带持久的生命力,许多经典影视,如金庸武侠剧、老港片、经典TVB剧等都有着巨量的翻新需求,这些经典影视的粉丝群体庞大,怀旧经典是许多人的爱好,谁还没个循环十来遍的爱剧呢?

图片5.png
修复老片不只是一种情怀,对于泛娱乐、流媒体领域来说也能够产生新的商业价值和新的商业模式。《超高清视频产业发展行动计划》显示,到2022年,超高清视频产业总规模要超4万亿元。超高清视频修复市场蕴藏着巨大潜力,让视听行业嗅到了藏在老影像里的新生意。目前它虽是一个公益市场,但也是个不能忽视的商业市场。

优质内容是各家视频网站角逐的核心,而经典老片如果可以低成本地大批量进行高清修复,意味着盘活了视频网站的资源库,可以吸引更多新用户的留存与会员付费的可能。

高清视频修复的技术与资源也会成为各家差异化的优势,AI技术能够将成本大幅降低,效率和效果大幅提升,通过技术手段可以弥补需求和供给之间的鸿沟。AI修复的背后,经典作品画质的改善,与新的智能设备、观看需求的匹配,会使得平台品牌与流量互相正向循环促进。

不止技术,更是艺术表达

高清视频的修复,不仅仅是在传媒、流媒体、泛娱乐等领域具备创造价值,其与普通大众之间,也逐渐缩短了距离。

西瓜视频将自己的AI修复技术,后台开放高清修复的功能给每一位普通用户,用户可以还原那些对自己有特殊意义的瞬间。如父母辈的一些结婚录像,小时候家庭聚餐的录影,咿咿呀呀学习说话的影像,十年前大学毕业的聚会视频等。这些多年前的模糊影像,都会在AI技术的加持下,重新鲜活起来。

AI技术修复老片,也并不是万能的,并不是可以解决所有的老片问题。据光明日报报道,中国电影资料馆对于老电影修复,有两组人员,一组是艺术专家组,另一组是技术专家组,两组人员缺一不可。
图片6.png

(百年前的北京城AI修复前后效果对比,via大谷)

老电影的色彩,风俗等场景比较专业,需要艺术专业人员的把控。对老片的修复,并不是单纯地把色彩修得好看,需要讲究修旧如旧的氛围感。这方面的把握,AI 还很难做到令人满意。中影基地此前在修复彩色片《梁祝》时表示,其色调的浓稠就很难界定,需要多方专家一起来定夺。

在高清视频的修复中,“修旧如旧”也并没有什么行业参数之类的标准存在,对于“如旧”的把控,需要结合所修复资料的具体场景、具体艺术表达来界定。这个界定就比较主观,考察的是技术团队与版权合作方等对于艺术氛围的感觉。

在经典老片的修复过程中,不只是技术能力的释放,也是一门艺术行为的表达。毫无疑问,AI 会加速高清视频的修复,但也存在局限,无法取代专业电影修复师。

图片7.png
对于高清视频修复的未来,除了算法模型的打磨外,全息投影,VR360都是可能的发展方向。随着5G、高清智能设备端的普及,对于经典系列的画质与清晰度的适配,用户的要求也会越来越高,初阶的480p、1080p到4K,已经是标配,未来4 K 到8K,适配VR 设备的3D影像内容修复,会是厂商们发力的方向。

传媒、泛娱乐、AI技术只要如常青树一般发展,交叉领域的视频修复就会乘着这股东风飞向远方。无论是珍贵的经典、还是我们普通人曾经闪亮的瞬间,视频修复都会点亮这些曾经褪色的记忆,让旧时光重新鲜活起来,充实我们的生活。

推荐阅读
关注数
6399
内容数
1554
写让你脑洞大开且能看懂的人工智能、流媒体、海外科技
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息