[发明专利]确定可移动的设备的位置

权利要求书

1.一种确定包括摄像头和至少一个惯性传感器的可移动的设备的位置的计算机执行的方法，包括以下步骤：

使用所述摄像头捕获一段时间内的图像序列；

对于来自所述图像序列的连续图像对，使用第一神经网络确定表明所述设备的运动的特征，所述设备的运动在捕获所述图像对的第一图像的时间与捕获所述图像对的第二图像的时间之间；

使用所述至少一个惯性传感器捕获表明所述设备的运动的数据；

使用第二神经网络从来自所述至少一个惯性传感器的表明所述设备的运动的数据确定表明所述设备的运动的特征；

对于连续图像序列，使用第三神经网络从由所述第一神经网络确定的特征和由所述第二神经网络确定的特征确定表明所述设备的位置的特征；以及

对于连续图像序列，从由所述第三神经网络确定的特征确定所述设备的位置。

2.根据权利要求1所述的方法，其特征在于，除了确定所述设备的位置之外还确定所述设备的方向。

3.根据权利要求1或2所述的方法，其特征在于，所述图像序列的图像是单目图像。

4.根据前述任一权利要求所述的方法，其特征在于，所述至少一个惯性传感器包括加速度计和/或陀螺仪。

5.根据前述任一权利要求所述的方法，其特征在于，所述第一神经网络是卷积神经网络。

6.根据前述任一权利要求所述的方法，其特征在于，所述第二神经网络是递归神经网络。

7.根据权利要求6所述的方法，其特征在于，所述第二神经网络是长短期记忆神经网络。

8.根据前述任一权利要求所述的方法，其特征在于，所述第三神经网络是递归神经网络。

9.根据权利要求8所述的方法，其特征在于，所述第三神经网络是长短期记忆神经网络。

10.根据前述任一权利要求所述的方法，其特征在于，还包括以下步骤：针对每对连续捕获的图像，从由所述第二神经网络确定的特征确定所述设备的相对位置信息和方向信息。

11.根据权利要求10所述的方法，其特征在于，所述确定所述设备的位置的步骤包括：整合从由所述第三神经网络确定的特征确定的所述相对位置信息和所述方向信息。

12.根据权利要求10或11所述的方法，其特征在于，还包括：针对每对连续捕获的图像，确定所述相对位置信息和所述方向信息的相应不确定性信息。

13.根据前述任一权利要求所述的方法，其特征在于，所述图像序列的每个图像已经与其相应的位置信息相关联，并且所述方法还包括以下步骤：使用所述相应的位置信息训练所述第一神经网络、所述第二神经网络和所述第三神经网络。

14.根据前述任一权利要求所述的方法，其特征在于，还包括以下步骤：训练所述第一神经网络、所述第二神经网络和所述第三神经网络以最大化由所述第一神经网络确定的特征和由所述第二神经网络确定的特征之间的相关性。

15.根据前述任一权利要求所述的方法，其特征在于，所述设备是自主机器人。