[发明专利]一种基于物体语义的无人机视觉重定位方法

说明书

本发明提供了一种基于物体语义的无人机视觉重定位方法，包括：构建无人机视觉重定位模型：图像处理与表示模块、场景匹配模块和重定位模块。由无人机相机拍摄当前场景，利用图像处理模块中的YOLOv3目标检测网络获取图片中包含的物体语义信息，并使用语义信息构建拓扑图作为对环境的稀疏描述；在有地图先验知识的情况下，构建待匹配图片的伴随图，采用随机游走算法进行语义特征和场景的匹配；利用EPnP算法求解出无人机的位姿，完成重定位。本发明在场景光照条件动态变化时，能够实现强鲁棒性的无人机实时重定位，尤其适用于工业巡检等自动化任务。

技术领域

本发明涉及视觉定位领域，特别涉及一种基于物体语义的无人机视觉重定位方法。

背景技术

定位问题是无人机领域中极为关键的一个问题，无人机在执行工业巡检等自动化任务时，需具备精确的自定位能力，并对工作过程中常见的干扰因素表现出一定的鲁棒性。随着计算机视觉的发展，基于相机传感器的视觉场景匹配技术愈渐成熟，可以为无人机自主飞行提供优质的服务。视觉传感器具有成本低、体积小、重量轻、能够提供丰富的在线环境信息、非接触等优点，且合适的视觉定位系统可以与GPS和INS系统相结合，作为无人机的补充定位系统。

无人机在工作过程中需要时刻跟踪位姿，当位姿跟踪失败时，需要进行重定位以恢复当前位姿。传统的视觉定位算法依赖于环境表象之间的相似性，采用人工设计的底层几何视觉特征作为图像相似度的计算依据，再利用特征匹配来实现场景匹配，在环境条件不变时可使无人机重定位取得不错的效果。然而，现实世界中往往存在着照明条件变换、天气变换和季节更替等复杂的环境变化，导致图像中的部分关键特征被强化或弱化，大大降低了特征匹配的准确度，此时，这传统方法的重定位精度将大幅下降，若想保持性能则需付出昂贵的地图维护代价。

发明内容

发明目的：本发明一种基于物体语义的无人机视觉重定位方法，以解决现有无人机视觉重定位方法无法很好地应对环境中光照变化导致重定位精度不足的技术问题。

本发明包括：步骤1，构建无人机视觉重定位模型，所述无人机视觉重定位模型包括图像处理与表示模块、场景匹配模块和重定位模块；

步骤2，通过图像处理与表示模块构建语义拓扑图；

步骤3，所述场景匹配模块基于待匹配图像对的共同语义信息构建伴随图，综合考虑待匹配图的语义信息差异、节点位置差异和拓扑结构差异，使用随机游走算法完成语义特征点对的映射，并计算相机传感器输入图像与地图库中图像的相似度，进而完成无人机的场景匹配；

步骤4，通过重定位模块求解出无人机的位姿，完成重定位。

步骤2包括：由无人机相机拍摄当前场景图片，所述图像处理与表示模块使用YOLOv3目标检测网络获取场景图片中包含的物体语义信息(包括物体类别标签及物体在图像中的像素位置信息)，所述物体语义信息包括物体语义标签以及物体在图像中的像素位置信息，以物体语义标签作为节点构建语义拓扑图，并建立场景地图库作为对环境的内部表示，用于与输入的视觉数据进行比较。

步骤3包括：利用语义拓扑图的权值矩阵W度量候选对之间的匹配程度，其中语义拓扑图对角线上的元素W_ia；ia代表节点之间的匹配权值，非对角线元素W_ia；jb代表边与边之间的匹配权值，权值越大代表匹配程度越高；概率转移矩阵P＝D^-1W，D是一个的对角矩阵，其中D_ii是D的对角元素，W_ij代表权值矩阵W中的第i行第j列元素；

设定待匹配的两幅图为G^M和G^N，图为G^M和G^N的伴随图，是G^M中的节点，是之间的边，是G^N中的节点，是之间的边；