[发明专利]用于计算相机或对象姿态的方法和设备

说明书

例如，描述了用于在已知环境中重新定位移动相机(诸如在智能电话上的)或者用于计算相对于固定相机移动的对象的姿态的相机或对象姿态计算。该姿态信息对于机器人、增强现实、导航和其他应用是有用的。在其中相机姿态被计算的各实施例中，经训练的机器学习系统将来自场景的图像的图像元素与该场景的3D世界坐标系中的点相关联。在其中相机固定而对象的姿态要被计算的示例中，经训练的机器学习系统将来自该对象的图像的图像元素与对象坐标系中的点相关联。在各示例中，图像元素可能是有噪声且不完整的，而姿态推断引擎计算该姿态的准确估计。

背景技术

对于许多应用(诸如机器人、车辆导航、计算机游戏应用、医疗应用和其他问题领域)，能够在相机在已知环境内移动时找到该相机的定向和位置是有价值的。相机的定向和位置被称为相机姿态并且可包括6个自由度(三个平移和三个旋转)。在相机固定而对象相对于相机移动的情况下，能够计算对象的姿态也是有用的。

先前的方法使用关键帧匹配，其中将完整测试图像对照样本训练图像(关键帧)来匹配。K个匹配关键帧被找到，且这些关键帧的姿态(关键姿态)被内插以生成输出相机姿态。关键帧匹配通常在姿态结果上非常粗略。

另一种先前的方法使用关键点匹配，其中稀疏兴趣点集合被在测试图像中检测并且使用关键点描述符来匹配到已知描述符数据库。给定公认匹配集合，运行稳健优化来寻找那些匹配中最大数目的匹配在几何上一致的相机姿态。关键点匹配在其中太少关键点被检测到的情形中遇到困难。

现有方法在精确度、稳健性和速度上受到限制。

以下描述的各实施例不限于解决已知的用于寻找相机或对象姿态的系统的缺点中的任一个或全部的实现。

发明内容

下面呈现了本发明的简要概述，以便向读者提供基本理解。本概述不是本公开的穷尽概览，并且不标识本发明的关键/重要元素或描述本说明书的范围。其唯一的目的是以简化形式呈现此处所公开的精选概念，作为稍后呈现的更详细的描述的序言。

例如，描述了用于在已知环境中重新定位移动相机(诸如在智能电话上的)或者用于计算相对于固定相机移动的对象的姿态的相机或对象姿态计算。该姿态信息对于机器人、增强现实、导航和其他应用是有用的。在其中相机姿态被计算的各实施例中，经训练的机器学习系统将来自场景的图像的图像元素与该场景的3D世界坐标系中的点相关联。在其中相机固定而对象的姿态要被计算的示例中，经训练的机器学习系统将来自该对象的图像的图像元素与对象坐标系中的点相关联。在各示例中，图像元素可能是有噪声且不完整的，而姿态推断引擎计算该姿态的准确估计。

通过结合附图参考以下详细描述，可易于领会并更好地理解许多附带特征。

附图说明

根据附图阅读以下具体实施方式，将更好地理解本发明，在附图中：

图1是用于在场景A中重新定位(诸如智能电话中的)移动相机的相机姿态跟踪器的示意图；

图2是握持具有相机和相机姿态跟踪器的移动设备的人的示意图，该移动设备与增强显示系统通信以使得猫的图像能够以逼真的方式被投影到该场景中；

图3是各自具有相机和相机姿态跟踪器的人和机器人的示意图；

图4是形成随机决策森林的至少一部分的三个随机决策树的示意图；

图5是训练随机决策森林以预测图像元素和场景坐标之间的对应关系；以及使用经训练的随机决策森林的方法的流程图；

图6是使用场景的图像来训练随机决策森林的方法的流程图，其中图像元素具有指示其对应场景坐标的标签；

图7是使用经训练的随机决策森林来获得场景坐标-图像元素对的方法的流程图；

图8是使用场s3景坐标-图像元素对来推断相机姿态的在相机姿态推断引擎处的方法的流程图；