【嘉勤点评】OPPO发明的三维人脸重建方案,从三维人脸形状和人脸纹理贴图两个角度入手,使得生成的目标三维人脸具有丰富的细节特征,可以有效提升三维人脸的重建效果。
集微网消息,OPPO Reno系列一直定位年轻人群,在最新推出的Reno 6机型中,搭载了基于AI算法的人脸检测以及人脸特征点识别技术,可以有效实现“AI焕采美妆”和“焕采光斑人像”功能。
而为了实现基于AI自动美妆,则需要对人脸进行三维建模,以得到立体图像,使得美妆更加的自然、真实。在计算机视觉和计算机图形学领域,三维人脸重建是一个热度逐渐上升的话题,它能广泛地应用于人脸识别、人脸编辑、人机交互、表情驱动的动画、增强现实、虚拟现实等领域。
而基于单张RGB图像的三维人脸重建—即利用单张RGB图像重建出三维人脸形状和纹理,更是一个经久不衰的话题。目前,基于单张RGB图像重建的三维人脸的细节较差,缺乏逼真性。
为此,OPPO在2021年2月3日申请了一项名为“三维人脸的重建方法、装置、电子设备以及存储介质”的发明专利(申请号:202110151906.3),申请人为OPPO广东移动通信有限公司。
根据该专利目前公开的相关资料,让我们一起来看看这项三维人脸重建方案吧。
如上图,为该专利中发明的三维人脸的重建方法的流程示意图,该方案主要基于生成对抗网络来生成三维人脸形状和人脸纹理贴图,使得生成的目标三维人脸具有丰富的细节特征,以提升三维人脸的重建效果。
首先,系统需要获取待重建人脸的形状参数和纹理参数,例如人脸的外形参数、表情参数以及纹理参数,再将该形状参数输入第一模型中,第一模型由生成对抗网络训练获得,可以输出三维人脸的形状。
其次,再将纹理参数输入第二模型,第二模型为主成分分析统计模型,该模型可以将纹理参数输入后,获得人脸纹理贴图。接着,基于获得的三维人脸形状和人脸纹理贴图,来生成目标三维人脸,通过这两种特征获得的三维人脸,具有较为丰富的细节特征,可以有效提升三维人脸的重建效果。
如上图,为执行上述方法的三维人脸的重建装置的模块框图,主要包括:参数获取模块210、人脸形状获得模块220、纹理贴图获得模块230以及三维人脸生成模块240。参数获取模块可以获取待重建人脸的形状参数和纹理参数;人脸形状获得模块用于将形状参数输入第一模型,获得第一模型输出的三维人脸形状。
纹理贴图获得模块可以将纹理参数输入第二模型,获得第二模型输出的人脸纹理贴图;三维人脸生成模块可以基于三维人脸形状和人脸纹理贴图,生成目标三维人脸。
以上就是OPPO发明的三维人脸重建方案,该方案从三维人脸形状和人脸纹理贴图两个角度入手,相比于传统的方案,使得生成的目标三维人脸具有丰富的细节特征,可以有效提升三维人脸的重建效果。
关于嘉勤
深圳市嘉勤知识产权代理有限公司由曾在华为等世界500强企业工作多年的知识产权专家、律师、专利代理人组成,熟悉中欧美知识产权法律理论和实务,在全球知识产权申请、布局、诉讼、许可谈判、交易、运营、标准专利协同创造、专利池建设、展会知识产权、跨境电商知识产权、知识产权海关保护等方面拥有丰富的经验。
(校对/holly)