[发明专利]确定可移动的设备的位置

说明书

一种确定包括摄像头和至少一个惯性传感器的可移动的设备的位置的计算机执行的方法。在一段时间内捕获图像序列，并且第一神经网络从连续图像对确定表明设备的运动的特征。捕获表明设备的运动的数据，并且第二神经网络从数据确定表明设备的运动的特征。然后，第三神经网络从由第一神经网络确定的特征和第二神经网络确定的特征确定表明设备的位置的特征。设备的位置是从由第三神经网络确定的特征确定的。

技术领域

本发明涉及确定可移动的设备的位置。更具体地但非排他地，本发明涉及使用神经网络从由可移动的设备的摄像头捕获的图像和由可移动的设备的惯性传感器捕获的运动信息的组合确定可移动的设备的位置。

本发明特别地但非排他地适用于可移动的设备是自主机器人的情况。然而，本发明还适用于其他类型的可移动的设备和可穿戴的设备，例如移动电话、智能手表等。

这里讨论的“位置”可以指绝对位置，例如可移动的设备位于由纬度和经度定义的地球上的位置，并且还可以指相对于另一位置的相对位置(例如，可移动的设备距离初始起始位置的距离和方向)。位置的确定还经常包括方向的确定，例如相对于地球磁场的绝对值，以及相对于初始方向一定量的旋转的相对值。

背景技术

期望能够在GPS信号不可用的情况下确定可移动的设备的位置。这对于自主机器人来说尤其如此，以允许精确的导航。已知的方法是使用来自摄像头的图像以便确定位置。然而，如果要可靠地确定位置，则这种系统往往需要非常精确的摄像头的校准。传统的视觉测程技术包括稀疏方法(包括若干步骤，该几个步骤包括特征的检测和匹配、运动估计和优化)，以及直接方法(包括运动估计和优化的步骤)。这种技术倾向于需要精确的摄像头校准，并且通常在纹理不良的环境中(即，具有很少特征的地方)或者当正在捕获图像的摄像头快速旋转时失败。另外，虽然这种系统通常能够确定行进的路径的形状，但是它们通常不能估计尺度，即行进的实际距离。

替代性地，已知使用神经网络来处理来自摄像头的图像以便确定位置。Mohanty等人的“DeepVO：A Deep Learning approach for Monocular Visual Odometry(用于单目视觉测程的深度学习方法)”(2016年11月18日发布于预印本网站(arXiv：1611.06069))公开了这样的系统。然而，使用神经网络的已知系统存在各种问题。它们往往需要针对将要使用它们的特定环境进行训练，因此无法在没有首先进行适当的训练的新环境中使用。

已知使用神经网络来学习摄像头姿势和惯性数据之间的关系。“Learning toFuse:A Deep Learning Approach to Visual-Inertial Camera Pose Estimation(视觉惯性摄像头姿势估计的深度学习方法)”(2016年12月15日发布于IEEE ISMAR)公开了这样的系统。然而，使用神经网络的已知方法存在各种问题。不利的是，它们需要使用传统方法处理摄像头数据以获得准确的姿势估计，并且需要标记来操作。此外，它们无法使用原始数据作为输入进行端到端的训练。

组合图像数据和运动数据以确定位置的系统是已知的。然而，这种系统的问题是图像数据和运动数据需要是时间同步的，使得这种系统难以建立，因为惯性传感器没有设计成以与摄像头捕获图像相同的间隔提供运动数据。此外，摄像头或惯性传感器的任何误校准都可能导致严重错误。

本发明寻求缓解上述问题。可选择地和/或附加地，本发明寻求提供确定可移动的设备的位置的改进方法。

发明内容

根据本发明的第一方面，提供了一种确定包括摄像头和至少一个惯性传感器的可移动的设备的位置的计算机执行的方法，该方法包括以下步骤：

使用摄像头捕获一段时间内的图像序列；

对于来自图像序列的连续图像对，使用第一神经网络确定表明设备的运动的特征，该设备的运动在捕获该图像对的第一图像的时间与捕获该图像对的第二图像的时间之间；