【嘉德点评】三星此项发明专利针对ToF成像提出了消除深度图像运动模糊的算法，对ToF传感器在移动终端的大规模使用具有重要意义。
集微网消息，进入2020年后，苹果、华为等厂商陆续发布了搭载ToF模组的终端设备，并借助AR技术显示了ToF的真正实力，再一次将ToF技术推上了风口。与此同时三星也大力投入ToF产品，其不久前发布的S20+、S20 Ultra新机型都搭载了ToF模组。
图1 光学快门飞行时间深度传感器
在传感器和终端领域，人机交互、机器人导航、体感游戏方面的需求带动了以ToF工作方式运行的三维深度传感器技术发展。
ToF即飞行时间成像法，图1展示了其基本成像原理。首先红外光源向目标物体连续发射光波，然后利用感光器件接收从目标物体返回的光，通过探测光脉冲往返飞行时间来获取传感器与目标物体的距离。由于在一个成像周期内可以收到4幅不同相位的图像，因此ToF运算单元可以针对不同相位进行计算，并得到深度图像。
尽管ToF三维传感器得到的图像更有效可靠，但却一直面临着图像运动模糊的挑战。如图1所示，为了得到一幅深度图像，需要4幅不同相位的红外图像，然而当实际场景存在运动物体时，由于物体在不同图像中的位置不同，从而导致了运动模糊。
尽管普通图像中存在大量的模糊消除算法，但却不能直接用于三维深度图像。为此三星公司于2016年1月22日提出一项名为“飞行时间三维传感器的运动模糊消除方法和设备”的发明专利（申请号：201610044750.8），申请人为北京三星通信技术研究有限公司。
传统的方式只能对单幅图像中运动模糊进行消除，而三星的此项专利中利用了计算机视觉中的图像对齐技术，以解决现有技术存在的不同相位图像中运动物体未对齐的问题，从而可以消除深度图像中的运动模糊。
图2 TOF三维传感器的运动模糊消除方法
图2为本发明中提出的针对ToF三维传感器的运动模糊消除方法。首先在步骤201，202中检测各图像的运动模糊区域，并针对检测的运动模糊区域计算图像的灰度直方图，同时进行灰度变换。然后在步骤203，204中将灰度变换后的各图像进行对齐，并将对齐后的各图像进行灰度逆变换，最后在步骤205中根据灰度逆变换后的图像计算得到深度图像。
图3 运动模糊消除方法原理框图
图3是基于图2的流程给出的ToF三维传感器的运动模糊消除原理框图。在模糊区域检测时，并将模糊区域输入给灰度变换模块，以其中一个相位的红外图像为目标图像，其他红外图像为源图像。为增加对齐精度，针对每个运动模糊区域计算它在不同相位图像中的灰度直方图，再依据直方图进行灰度变换，从而使得不同相位图像中同一模糊区域具有大致相同的灰度分布。
此后就是图像对齐过程，首先要将源图像和目标图像进行稠密匹配，并根据匹配结果将源图像变形到目标图像，从而得到对齐之后的源图像。在图像变形的过程中，在深度图像的成像周期内选择一张红外图像作为目标图像，其他红外图像分别与目标图像进行匹配，以得到两幅图像上运动模糊区域每个像素的对应关系。根据该对应关系，将源图像的每个像素分别移至目标图像上的相应位置，得到变形之后的源图像。由于变形之后的源图像补偿了运动向量，从而将不同红外图像之间的运动区域进行对齐。最后再将对齐之后的各源图像分别进行灰度逆变换，并根据目标图像和灰度逆变换之后的源图像计算得到深度图像。
以上就是三星此项发明专利的介绍，在如今的智能终端中，ToF传感器的应用正在悄然改变原有的市场，三星这项发明中针对ToF成像提出了消除深度图像运动模糊的算法，对ToF传感器在移动终端的大规模使用具有重要意义。
关于嘉德
深圳市嘉德知识产权服务有限公司由曾在华为等世界500强企业工作多年的知识产权专家、律师、专利代理人组成，熟悉中欧美知识产权法律理论和实务，在全球知识产权申请、布局、诉讼、许可谈判、交易、运营、标准专利协同创造、专利池建设、展会知识产权、跨境电商知识产权、知识产权海关保护等方面拥有丰富的经验。
（校对/holly）
