[发明专利]一种基于深度学习估计机器人位姿的方法

权利要求书

1.一种基于深度学习的估计机器人位姿方法，其特征在于，所述方法包括：

步骤一、确定传感器以及传感器的参数；

步骤二、确定所需训练数据要求，利用标签文件生成训练集、验证集和测试集，使用数据增强手段：隔帧增强、时序增强；

步骤三、搭建深度神经网络，包括确定网络结构为两个子模块、确定网络初始超参数和确定网络损失函数，所述两个子模块分别为特征提取模块和记忆传播模块；

步骤四、利用步骤二准备的训练集预训练搭建好的深度神经网络中的特征提取模块，更新特征提取模块的迭代参数，使特征提取模块输出收敛至第一预设阈值；

步骤五、将整个深度神经网络在训练好的子模块的基础上进行全局调整，使用确定的训练集和验证集上训练整个深度神经网络，更新迭代参数，使网络预测准确率小于第二预设阈值；

步骤六、在测试集上进行网络模型的测试。

2.根据权利要求1所述的方法，其特征在于，在所述步骤一中，传感器类型为单目RGB相机。

3.根据权利要求1所述的方法，其特征在于，在所述步骤二中，训练集数据采用KITTIVO/SLAM标准数据集，标签文件为相邻两张RGB图片相对的位姿变换真值；数据增强手段中的隔帧增强是指为了模拟机器人速度变化的情况，将相邻两帧数据增强至相隔若干帧取一帧数据，时序增强是指为了模拟机器人速度逆向的情况，将准备的数据逆向输入，同时对网络的前向预测和逆向预测起到一个限制的作用。

4.根据权利要求1所述的方法，其特征在于，在所述步骤三中：

所述特征提取模块和记忆传播模块分别为深层级联卷积神经网络和栈式循环卷积神经网络，深层级联卷积神经网络用于提取相邻两帧RGB图片中丰富的纹理信息所包含的几何关系，并编码成二维特征向量；栈式循环卷积神经网络输入编码向量进行记忆传播，最终输出结果为预测的机器人上相机的位姿；

预训练深度神经网络的损失函数为：

其中，(P_1i,φ_1i)是第i对训练数据中前向输入的机器人上单目相机的位移和转角的预测值；是单目相机的位移和转角的真值；‖.‖为L2形式的范数；

方法中整个深度神经网络的损失函数为：

其中，(P_1ij,φ_1ij)是第i个训练数据序列中前向输入的第j个时刻的机器人上单目相机的位移和转角的预测值；(P_2ij,φ_2ij)是第i个训练数据序列中逆向输入的第j个时刻的机器人上单目相机的位移和转角的预测值；是单目相机的位移和转角的前向输入和后向输入对应的真值。‖.‖为L2形式的范数。

5.根据权利要求1所述的方法，其特征在于，在所述步骤四中，特征提取模块本身也具有预测机器人相机位姿的能力，特征提取模块的后面添加一个全连接层并进行预训练达到位姿回归的要求，训练小于一定阈值时停止预训练并保存模块的参数为后续全局调整提供初始状态。