[发明专利]一种基于深度学习估计机器人位姿的方法

说明书

本发明提供了一种基于深度学习估计机器人位姿的方法，采用深层级联卷积神经网络和栈式循环卷积神经网络结合串联，利用数据驱动，端到端的摒弃了传统方法中特征提取、特征匹配、相机标定、图优化等步骤，通过特征提取模块编码图片中纹理的几何信息形成特征二维向量的记忆输入至“记忆传播模块”进行长期记忆的传播，最终输出预测的机器人上相机的位姿。本发明在训练网络模型之前进行了数据增强，包括两种方式：隔帧增强和时序增强，可模拟机器人速度变化，速度逆向的情况，使数据更丰富，给网络预测增加了约束令预测位姿更准确。

技术领域

本发明涉及所述估计机器人位姿方法，特别涉及一种基于深度学习估计机器人位姿的方法。

背景技术

对于智能机器人的自主导航来说，机器人在运动过程中的自定位能力非常重要。机器人的位姿估计问题是计算机视觉领域和SLAM的一个重要且尚需解决的问题，主流的位姿估计方法主要是基于图片中的几何特性来估计相机的位置，所以要求图片中的物体含有大量稳定的纹理特征。一旦场景中出现遮挡物或在雾天雨天取景，并且在没有其他传感器(IMU、激光雷达等)的情况下，几何法的求解就会受到很严重的干扰。而很多实际应用中，诸多其他传感器也可能派不上用场，所以只通过视觉来定位的方法还有很大的研究空间。

近年，以卷积神经网络为代表的深度学习方法在计算机视觉领域发挥了非常重要的作用，这些深度网络在提取图片特征，找出潜在规律等发面相比传统方法效果显著。

发明内容

本发明所要解决的技术问题是在于提供一种基于深度学习估计机器人位姿的方法，以利用深度学习提取图片特征效果显著的优势改善传统方法的不鲁棒性。

为此，本发明采用以下技术方案：

一种基于深度学习的估计机器人位姿方法，其特征在于，所述方法包括：

步骤一、确定传感器以及传感器的参数；

步骤二、确定所需训练数据要求，利用标签文件生成训练集、验证集和测试集，使用数据增强手段：隔帧增强、时序增强；

步骤三、搭建深度神经网络，包括确定网络结构为两个子模块、确定网络初始超参数和确定网络损失函数，所述两个子模块分别为特征提取模块和记忆传播模块；

步骤四、利用步骤二准备的训练集预训练搭建好的深度神经网络中的特征提取模块，更新特征提取模块的迭代参数，使特征提取模块输出收敛至第一预设阈值；

步骤五、将整个深度神经网络在训练好的子模块的基础上进行全局调整，使用确定的训练集和验证集上训练整个深度神经网络，更新迭代参数，使网络预测准确率小于第二预设阈值；

步骤六、在测试集上进行网络模型的测试。

进一步地，在所述步骤一中，传感器类型为单目RGB相机。

进一步地，在所述步骤二中，训练集数据采用KITTI VO/SLAM标准数据集，标签文件为相邻两张RGB图片相对的位姿变换真值；数据增强手段中的隔帧增强是指为了模拟机器人速度变化的情况，将相邻两帧数据增强至相隔若干帧取一帧数据，时序增强是指为了模拟机器人速度逆向的情况，将准备的数据逆向输入，同时对网络的前向预测和逆向预测起到一个限制的作用。

进一步地，在所述步骤三中：

所述特征提取模块和记忆传播模块分别为深层级联卷积神经网络和栈式循环卷积神经网络，深层级联卷积神经网络用于提取相邻两帧RGB图片中丰富的纹理信息所包含的几何关系，并编码成二维特征向量；栈式循环卷积神经网络输入编码向量进行记忆传播，最终输出结果为预测的机器人上相机的位姿；

预训练深度神经网络的损失函数为：(感觉未表达清楚)