[发明专利]基于特征匹配网络的SLAM方法、系统、设备及存储介质

权利要求书

1.一种基于特征匹配网络的SLAM方法，其特征在于，包括：

利用深度学习方法，针对基于匹配任务的特征提取网络，通过SLAM的运行模式进行训练；

将训练得到的基于匹配任务的特征提取网络嵌入至SLAM系统框架中；

通过训练得到的基于匹配任务的特征提取网络对单目相机拍摄的图像进行特征点的提取，并对提取的相邻两帧图像的对应的特征点进行匹配，对匹配的特征点对求解相应的旋转矩阵和平移向量，用于对车辆的定位，并通过三角化求得物体点在世界坐标系下的位置，完成建图任务。

2.根据权利要求1所述的一种基于特征匹配网络的SLAM方法，其特征在于，所述利用深度学习方法，基于针对匹配任务的特征提取网络，通过SLAM的运行模式进行训练的步骤包括：

构建基于匹配任务的特征提取网络，并选取包含RGB图像与对应深度图像的训练数据集；

对于训练数据集中的每一帧RGB图像，随机利用相邻图像构成一个图像匹配对；一个图像匹配对中的两个图像称为第一图像与第二图像；

对于每一个图像匹配对，输入至基于匹配任务的特征提取网络后获得热图对，记为H₁与H₂；在热图H₁与H₂上分别随机选取n个关键点；对热图H₁和H₂上的关键点进行最近邻匹配得到初步点匹配结果M，并按照设定比例随机在初步点匹配结果M选取点匹配对，所选取的点匹配对集合记为M_s；

对点匹配对集合M_s中的单个点匹配对(p_i,p′_j)，其中p_i∈H₁,p′_j∈H₂,p_i＝(x_i,y_i),p′_j＝(x′_j,y′_j)，表示p_i与p′_j分别为热图H₁与H₂上的关键点，(x_i,y_i)表示关键点p_i在图像坐标系下的位置坐标，(x′_j,y′_j)表示关键点p′_j在图像坐标系下的位置坐标；按照第一图像的帧数从相应深度图像中获取关键点p_i的深度然后借助训练数据集中包含的相机的内参矩阵K，得到关键点p_i位置坐标(x_i,y_i)对应于第一图像在相机坐标系下的位置点P_i的3D坐标(X_i,Y_i,Z_i)，并结合训练数据集中的标注信息确定第一图像与第二图像的真实位姿，获得位置点P_i对应的第二图像在相机坐标系下的位置点P_j的3D坐标(X_j,Y_j,Z_j)；之后，通过相机的内参矩阵K，将位置点P_j的3D坐标(X_j,Y_j,Z_j)投影至第二图像的图像坐标系下得到相应的位置点p_j在图像坐标系下的位置坐标(x_j,y_j)；

计算图像坐标系下的位置坐标(x_j,y_j)与(x′_j,y′_j)的距离，作为点匹配对(p_i,p′_j)的匹配误差，综合匹配对集合M_s中所有点匹配对的匹配误差构建损失函数，训练所述基于匹配任务的特征提取网络。