[发明专利]在增强现实中显示虚拟对象的定位方法和装置

说明书

公开了一种定位方法和装置，所述定位方法和装置可以获取设备的定位信息，生成包括与输入图像中包括的对象相对应的方向特性的第一图像，生成其中对象基于定位信息而投影到与对象的位置相对应的地图数据的第二图像，并基于第一图像和第二图像之间的视觉对准调整定位信息。

相关申请的交叉引用

本申请要求2018年9月11日在韩国知识产权局递交的韩国专利申请No.10-2018-0108252的优先权，出于所有目的，其全部公开通过引用合并于此。

技术领域

以下描述涉及用于在增强现实(AR)中显示虚拟对象的定位方法和装置。

背景技术

在各种领域中提供各种类型的增强现实(AR)服务，例如，用于车辆和其他运输设备的驾驶辅助、游戏和娱乐。可以使用各种定位方法逼真地提供AR。例如，基于传感器的定位方法可以使用各种传感器(例如，全球定位系统(GPS)传感器和惯性测量单元(IMU)传感器)，以验证对象的位置和方向。当需要高准确性时，基于传感器的定位方法需要具有高准确性的非常高价的传感器，因此难以实现商业化和小型化。此外，使用相机信息获取高精度坐标信息的基于视觉的定位方法可能难以在包括许多具有连续运动的动态对象的环境中使用。

发明内容

提供本发明内容是为了以简化的形式介绍对以下在具体实施方式中进一步描述的构思的选择。本发明内容不意在确认要求保护的主题的关键特征或必要特征，也不意在用于帮助确定要求保护的主题的范围。

在一个总的方面，提供了一种定位方法，包括：获取设备的定位信息；生成第一图像，第一图像包括与输入图像中包括的对象相对应的方向特性；生成第二图像，在第二图像中，对象基于定位信息而投影到与对象的位置相对应的地图数据上；以及基于第一图像和第二图像之间的视觉对准来更新定位信息。

定位信息可以包括装置的位置和装置的姿势。

生成第二图像可以包括：在地图数据上所述位置处放置虚拟相机，并基于装置的姿势调整虚拟相机的姿势，以及生成从虚拟相机观看对象的视角的图像。

方向特性可以对应于指示与对象的接近度的概率分布。

输入图像可以基于第一传感器的输出，定位信息可以基于第二传感器的输出。

该定位方法可以包括：确定地图数据上用于增强现实(AR)服务的虚拟对象，以及基于更新的定位信息显示虚拟对象和输入图像。

虚拟对象可以表示驾驶路线信息。

生成第一图像可以包括：使用经训练的神经网络生成表示方向特性的概率图。

概率图中的每个像素可以被配置为存储从每个像素到最接近的种子像素的距离。

种子像素可以包括输入图像中包括的像素之中与对象相对应的像素。

生成第二图像可以包括：使用变换器生成第二图像，其中变换器被配置为将地图数据的坐标系变换为第二图像的坐标系。

定位信息可以包括6自由度(6DoF)。

更新定位信息可以包括：通过将第一图像和第二图像相匹配来计算视觉对准度，以及基于方向特性修改定位信息以增加视觉对准度。

计算可以包括：将第一图像中的像素之中与第二图像中的对象相对应的像素的值相加。

基于方向特性修改定位信息可以包括：基于方向特性修改定位信息以对第二图像中的对象进行变换。

基于方向特性修改定位信息可以包括：基于方向特性移动或旋转第二图像中的对象。