[发明专利]一种基于全局和局部特征联合约束的跨模态地点识别方法

说明书

本发明涉及计算机视觉技术领域，具体涉及一种基于全局和局部特征联合约束的跨模态地点识别方法。本发明包括以下步骤：步骤1、分别输入1张彩色图像和红外图像到GLFC‑Net网络模型中；步骤2、利用ResNet50网络和局部分支模块，将步骤1中输入的两种模态的图像生成富含全局性和局部性的共享特征；步骤3、从富含全局性的共享特征中提取对应的全局特征；步骤4、从富含局部性的共享特征中提取对应的局部特征；步骤5、对步骤3获得的全局特征与步骤4获得的局部特征进行全局级别和局部级别联合约束；步骤6、若达到指定的训练轮数，则结束；否则继续完成训练，返回步骤1。本发明增加了对光照不足、视角变化问题的鲁棒性，从而提高了地点识别的准确率。

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种基于全局和局部特征联合约束的跨模态地点识别方法。

背景技术

视觉地点识别旨在帮助机器人或基于视觉的导航系统确定它是否位于先前访问过的地方，通过摄像机拍下图像，识别出该图像位于哪里，可以看作是图像检索问题，其过程如图1所示。在SLAM中，可用于重新定位、地图复用或回环修正，在移动机器人，无人汽车驾驶中有着广阔的应用前景。例如，把移动机器人放入未知环境中的未知位置，在行走时，不断获取新的特征地标，并且校正机器人系统中的地图模型，当机器人无意中走了很长一段路的时候，想知道当前路段是否曾经来过，就会将当前的地点图像进行输入，然后到地点识别系统的数据集中搜寻，找出相应的地点图像。

在早期的研究中，视觉地点识别应用于单模态地点识别，在整个识别过程中，地点识别任务均为彩色图像。但在现实环境中，因为彩色摄像头无法在低照度环境下捕获清晰的地点图像，例如在上段提到的移动机器人，若仅采用彩色摄像头进行拍摄，那么白天所摄的地点图像质量较好，夜间所摄的质量会较差，这样在光照环境不足的情况下，是无法获得清晰的地点图像。

随着技术的发展，现有的摄像装置可以同时配备彩色摄像头和红外摄像头，彩色摄像头在光照良好的环境中捕获地点图像，而红外摄像头在低照度环境下捕获地点图像。例如在上段提到的移动机器人，在夜间，机器人在行走的时候道路上的光照环境较差，可以利用其中的红外摄像头捕获地点图像。这为地点识别任务摆脱光照限制创造了有利条件，基于彩色模态和红外模态的跨模态地点识别任务应运而生，即“彩色-红外”视觉地点识别(Visible Infrared Visual Place Recognition,VI-VPR)任务。例如，在本段提到的机器人，机器人身上配备的摄像装置在夜间拍摄到了可能白天经过的地点图像，想知道当前路段是否曾经来过，于是需要将该红外图像与白天捕获的彩色图像集匹配，其示例如图2所示。但是，“彩色-红外”视觉地点识别是多模态识别问题，与单模态识别问题相比具有更大的挑战。

图1所示的是Pittsburgh 30k数据集单模态中对彩色查询图片进行地点识别，是一个图像检索的过程，将图库集中与查询图像相似的若干个图像筛选出来进行排序。左边彩色图像为拍摄的想要识别当前地点的查询集，右边彩色图像为以前经过地点所记录下来的彩色图库集，将查询图像和图库中的数据进行图像检索，和查询图像相似的筛选出来。

图2所示的是通过模拟仿真得来的Pittsburgh 30k红外查询集和Pittsburgh 30k彩色图库集进行跨模态图像匹配，查询集和图库集是一个地点所拍摄的，只是拍摄的角度不同。其中彩色模态地点图像的通道数为3，而红外模态地点图像仅包含1条通道，让彩色图像和红外图像之间的差异变大，使得“彩色-红外”视觉地点识别任务充满挑战性。左边的红外图像为在光照不足的环境下拍摄的查询集，将查询集和以前经过地点所记录下来的彩色图库集进行图像检索，与查询图像相似的筛选出来，得到的为右边的彩色图像，其中左边的红外图像与右边的彩色图像的地点一一对应。