[发明专利]视觉里程计方法、装置、电子设备及存储介质

说明书

本申请提供一种视觉里程计方法、装置、电子设备及存储介质，视觉里程计方法包括：获取第一图像和第二图像，其中第二图像为第一图像的下一帧图像；训练目标检测网络，并利用目标检测网络在第二图像上获取多个特征样本区域；根据获取的多个特征样本区域进行特征提取，获取最优特征样本；获取在第一图像中与最优特征样本匹配的对应特征样本；根据最优特征样本和对应特征样本，计算位姿数据。解决现有技术中的视觉里程计所需计算量过大、消耗资源的问题。

技术领域

本申请涉及视觉计算领域，具体而言，涉及一种视觉里程计方法、装置、电子设备及存储介质。

背景技术

SLAM(Simultaneous Localization and Mapping,同时定位与建图)是自主导航领域中最关键的技术之一，它使自主导航系统能够在一个未知环境中，依据传感器捕获的信息对周围环境进行增量式的地图构建，与此同时确定自身在环境中的位置。SLAM广泛应用于自动驾驶汽车、自主导航机器人、虚拟现实以及增强现实等领域，是一项至关重要的技术。

视觉里程计(visual odometry，VO)是SLAM的前端，主要作用是根据拍摄的图像估计相机的运动，进行实时定位。在进行特征点匹配求取位姿的过程中，对于整张图进行特征点提取和匹配，然后进行BA(Bundle Adjustment，光束平差)优化，所需计算量过大，消耗资源。

发明内容

本申请实施例的目的在于提供一种视觉里程计方法、装置、电子设备及存储介质，用以解决现有技术中存在的技术问题。

第一方面，本申请实施例提供了一种视觉里程计方法，包括：获取第一图像和第二图像，其中第二图像为第一图像的下一帧图像；训练目标检测网络，并利用目标检测网络在第二图像上获取多个特征样本区域；根据获取的多个特征样本区域进行特征提取，获取最优特征样本；获取在第一图像中与最优特征样本匹配的对应特征样本；根据最优特征样本和对应特征样本，计算位姿数据。

于一实施例中，训练目标检测网络包括：建立场景图像数据集；并且，利用卷积神经网络生成目标检测网络；以及，根据场景图像数据集，训练目标检测网络。

于一实施例中，利用目标检测网络在第二图像上获取多个特征样本区域，包括：根据目标检测网络对第一图像和第二图像进行目标检测和非极大值抑制处理，删除移动特征样本。

于一实施例中，根据获取的多个特征样本区域进行特征提取，获取最优特征样本，包括：根据多个特征样本区域，于第二图像中选定对应特征样本区域的目标框；对目标框进行冲何框匹配，从多个目标框中筛选出置信值最高的目标框；根据置信值最高的目标框，确定最优特征样本。

于一实施例中，根据最优特征样本和对应特征样本，计算位姿数据，包括：根据特征点，进行线性变换生成基础矩阵；根据基础矩阵和本质矩阵生成旋转向量和平移向量；或者包括：获取特征点在场景图像数据集中的三维数据；根据三维数据利用N点透视生成位姿数据；或者包括：

根据特征样本，通过LSD算法进行线段提取，对提取的线段通过LBD算法进行线段匹配，根据匹配的点及线段通过EPNPL算法生成所述位姿数据。

于一实施例中，方法还包括：将位姿数据作为初始迭代点数据，进行光束平差迭代；根据列文伯格-马夸尔特法生成最优位姿数据。

第二方面，本申请实施例还提供了一种视觉里程计装置，包括：图像获取模块，用于获取第一图像和第二图像，其中第二图像为第一图像的下一帧图像；目标检测模块，用于训练目标检测网络，并利用目标检测网络在第二图像上获取多个特征样本区域；特征获取模块，用于根据获取的多个特征样本区域进行特征提取，获取最优特征样本；特征匹配模块，用于获取在第一图像中与最优特征样本匹配的对应特征样本；位姿计算模块，用于根据最优特征样本和对应特征样本，计算位姿数据。