集微网 · 2021年04月26日

【专利解密】OPPO重定位技术帮助AR设备显示图像

【嘉勤点评】OPPO发明的用于AR设备的显示方法,这种方案可以在虚拟空间和真实空间下的坐标系建立相对坐标变换矩阵,以确定AR离线地图中各锚点在当前图像帧中对应的位置,并在该位置显示对应的虚拟物体。

集微网消息,2021年1月,由商汤科技联合中国电子技术标准化研究院、浙江大学、OPPO、小米、百度、爱奇艺等诸多企业和研究机构共同起草的业内首个AR技术标准正式获批发布。

增强现实(AR)技术是一种将虚拟信息与真实世界巧妙融合的技术,广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段,将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后,应用到真实世界中,两种信息互为补充,真实环境和虚拟物体之间重叠之后,能够在同一个画面以及空间中同时存在,从而实现超越现实的感官体验,实现对真实世界的“增强”。

而作为AR技术支撑的一项重要功能就是重定位,这项技术旨在于在即时定位与地图构建(SLAM)中,当对相机位姿的追踪丢失,或加载离线地图后,计算出相机在原有坐标系下的位姿,重定位在AR应用中有着至关重要的作用。

也就是我们平时在智能手机上使用AR技术时,可以在我们身边的物体上出现例如虚拟人物等内容,这项技术就是帮助AR判断应该生成多大尺寸的虚拟人物,可以完美与真实物体的尺寸相适应。

为此,OPPO在2020年2月11日申请了一项名为“增强现实AR显示方法及相关装置”的发明专利(申请号:202010087613.9),申请人为OPPO广东移动通信有限公司。

根据该专利目前公开的相关资料,让我们一起来看看这项AR技术方案吧。

image
如上图,为该专利中提供的移动终端的结构示意图,其中主要包括增强显示AR显示模块,在移动终端中进行AR显示时,可以通过增强现实模块来实现。

image

如上图,为这种增强显示AR显示方法的具体流程示意图,首先,通过移动终端的摄像头采集当前场景的多个图像帧,针对每个图像帧来生成特征的集合,例如使用词袋模型进行特征的提取。词袋模型是一种在检索中应用的特征表达方式,数据的特征点可以用一个装有特定词的“袋子”表示,由此得到当前图像的特征与AR离线地图的关键帧的特征相同。

其次,在预配置的AR离线地图中的多个点云帧中,搜索与关键帧特征相匹配的当前图像的帧,点云由众多的特征点构成,其数据主要包括虚拟物体的锚点,而锚点是AR图中记录虚拟物体位置的一种方式。这个步骤是为了通过特征匹配的方式,找到现实坐标系与虚拟坐标系的对应点,以便于重定位。

接着,根据关键帧的自定义描述子(记录着当前图像帧的2D特征点),确定当前图像帧在AR离线地图的第一坐标系下的第一位姿,并根据第一位姿确定当前场景在第二坐标系下的第二位姿以及两个坐标系之间的坐标转换矩阵。

第一坐标系是AR离线地图中的坐标系,第二坐标系是真实空间的坐标系,由两个坐标系之间的数值关系计算出坐标转换矩阵,最后,根据该坐标转换矩阵就可以在当前图像帧中显示每个锚点对应的虚拟物体。

以上就是OPPO发明的用于AR设备的显示方法,这种方案可以在虚拟空间和真实空间下的坐标系建立相对坐标变换矩阵,以确定AR离线地图中各锚点在当前图像帧中对应的位置,并在该位置显示对应的虚拟物体。从而有利于成功进行重定位,完成在当前图像帧中与预配置的AR离线地图相同的位置显示虚拟物体。

关于嘉勤
image

深圳市嘉勤知识产权代理有限公司由曾在华为等世界500强企业工作多年的知识产权专家、律师、专利代理人组成,熟悉中欧美知识产权法律理论和实务,在全球知识产权申请、布局、诉讼、许可谈判、交易、运营、标准专利协同创造、专利池建设、展会知识产权、跨境电商知识产权、知识产权海关保护等方面拥有丰富的经验。

(校对/holly)

推荐阅读
关注数
12686
内容数
1029
从专利出发,浅析一切关于柔性屏、折叠屏、10倍光学变焦技术等有趣的前沿技术
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息