【嘉德点评】苹果的三维重建技术，通过照相机、图像信息传感器和神经网络算法的结合，完成了从图像到三维模型的转换，毫无疑问这样的专利将会使用在iPhone或者iPad上，今年发布的新款iPad Pro上搭载了激光雷达，这将更加有利于苹果公司将这样的三维重建技术发挥到极致！
集微网消息，从去年开始，就有报道称苹果公司正在研发一款面向后方的激光动力“3D相机”，它可以扫描环境，创造现实世界的三维重建。
三维重建的英文术语名称是（3D Reconstruction），三维重建是指对三维物体建立适合计算机表示和处理的数学模型,是在计算机环境下对其进行处理、操作和分析其性质的基础,也是在计算机中建立表达客观世界的虚拟现实的关键技术。
而目前的一大研究热点就是根据用户的捕获图像或视频，生成用户的三维模型（例如运动捕获模型）。机器学习网络可以跟踪用户的姿势和表情以生成和完善三维模型，三维模型的细化可以提供对用户面部的更精确跟踪。
三维模型的细化可以包括在三维模型中的限定位置（例如，眼角或者鼻子）上细化姿势和表情的确定，精炼可以在迭代过程中进行，随时间推移对三维模型的跟踪可以用于生成模拟用户的姿势和表情的用户的动画三维模型（例如动画的木偶）。
从图像进行三维重建，看似困难的问题，其实苹果在今年4月23日就公布了一项名为“从捕获的图像生成动画三维模型”的发明专利（公开号：US 2020/0125835 A1），申请人为苹果公司。
根据目前公开的专利资料，让我们一起来看看这项三维重建技术吧。
如上图所示为照相机的结构示意图，设备100包括照相机102，处理器104，存储器106和显示器108。照相机可以捕获设备的外部环境图像，在该专利中，根据设备的使用场景，照相机被定位成在用户与显示器交互时捕获用户的图像（例如面部图像）。
而处理器可以运行人工智能算法，从而对采集到的图像进行进一步分析，可以从下图中清晰的看出来。
如图主要绘制了照相机与处理器之间的关系，处理器主要包含图像信号处理单元（ISP）和神经网络模型，同时照相机拍摄的照片也会被送入处理器中进行处理。这些图像通常是用户的面部图像，主要有足够的分辨率可以捕捉用户的面部图像，不管是完整的面部图像还是一部分面部图像，都可以使用神经网络模型对其进行图像处理等操作。
而ISP能够处理以及分析相机捕获的图像，其功能以及结构较为简单，而处理器主要操作的是机器学习模型，可以使用位于设备上的硬件以及软件的组合来完成机器学习模型，通常包含有一个或者多个神经网络模块，这种神经网络模块通常是多尺度的神经网络模型，这样神经网络就可以使用训练生成的操作参数网络模块进行操作并且评估设备所捕获的图像。
如上图所示为从获的图像生成三维模型的过程的流程图，可以完成从设备上的照相机捕获的图像到三位模型的转变，这些图像可以是多张，例如多个图像可以是由照相机作为视频捕获的图像和由照相机捕获的其他逐帧或顺序图像。
例如，随着用户前进通过不同的运动和不同的姿势，可以捕获多个图像。此外，用户可以在与设备交互时做出不同的面部运动或动作和移动其头部，其中在摄像机拍摄的连续图像中拍摄到不同的运动和不同的姿势。
通过处理对捕获的图像进行单独处理以生成用于各个图像的三维模型（例如生成与各个图像相对应的各个三维模型），然后可以将各个三维模型进行组合以生成动画三维模型，动画三维模型可以代表由相机捕捉的用户的多个图像。
如上图所示描绘了用户面部模型的表示，该模型是用户面部的混合形状模型，这些型号包括选定数量的肌肉组。可以针对用户面部的不同肌肉运动来定义肌肉组，例如眉毛向上或向下运动、脸颊斜视、下巴向下或抬起、眨眼、眼睛向上或向下运动、眼睛向内或向外运动等等。
除此之外，还有睁眼或闭眼、斜眼看、左或右颚、颚开或闭、嘴唇张开或闭上、嘴唇皱褶、嘴唇舒展、嘴角皱眉和嘴角微笑等动作。这些肌肉组的运动可以单独地或组合地产生使用者面部的局部变形，因此，可以通过评估所捕获的图像中的肌肉集合的变形来确定图像中的用户面部的局部运动和针对用户面部的表情。
根据之前提到了该方法的流程图，可以使用对特征向量执行回归以确定用户的面部特性，在确定属性之后，可以使用这些属性生成用户面部的三维模型，这个三维模型一般是基于用户面部属性的三维重建模型。
最后我们来看一组实例。
该图的上半部分即为摄像头所捕获到的面部信息，根据采集不同角度的面部信息，将这些信息送入智能神经网络算法中进行处理，就可以得到其三维重建图像，例如该图下半部分所示，这些网格状的线就表示其结构是三维的，可以利用这些线条表示其深度。
以上就是苹果的三维重建技术，通过照相机、图像信息传感器和神经网络算法的结合，完成了从图像到三维模型的转换，毫无疑问这样的专利将会使用在iphone或者ipad上，今年发布的新款ipad pro上搭载了激光雷达，这将更加有利于苹果公司将这样的三维重建技术发挥到极致！
关于嘉德
深圳市嘉德知识产权服务有限公司由曾在华为等世界500强企业工作多年的知识产权专家、律师、专利代理人组成，熟悉中欧美知识产权法律理论和实务，在全球知识产权申请、布局、诉讼、许可谈判、交易、运营、标准专利协同创造、专利池建设、展会知识产权、跨境电商知识产权、知识产权海关保护等方面拥有丰富的经验。
（校对/holly）
