[发明专利]闭环检测方法及装置、存储介质和电子设备

说明书

本发明公开了一种闭环检测方法及装置、存储介质和电子设备，涉及图像处理技术领域。该闭环检测方法包括：获取摄像头在运动过程中拍摄的各视频帧图像，提取各视频帧图像的全局特征和局部不变特征；根据各视频帧图像的全局特征构建特征索引图，利用特征索引图确定待与当前视频帧图像进行闭环比对的候选视频帧图像；将当前视频帧图像的局部不变特征转换为第一哈希特征，将候选视频帧图像的局部不变特征转换为第二哈希特征，利用第一哈希特征和第二哈希特征判断当前视频帧图像与候选视频帧图像是否匹配；结合当前视频帧图像与候选视频帧图像是否匹配的结果确定闭环检测结果。本公开可以提高闭环检测的效果。

技术领域

本公开涉及图像处理技术领域，具体而言，涉及一种闭环检测方法、闭环检测装置、存储介质和电子设备。

背景技术

SLAM(Simultaneous Localization And Mapping，同步定位与建图)的目的是解决在进入未知环境后，如何感知周围环境，构建增量式地图，并同时进行自身定位的问题。SLAM作为自主导航的主要技术之一，可以应用于无人驾驶、机器人控制等众多领域。

在SLAM中，一个重要的问题是闭环检测(Loop Closure Detection，LCD)，闭环检测又称为回环检测，是指机器人识别曾经到达过某个场景，使得构建出的地图闭环的技术。

然而，在一些实现闭环检测的过程中，内存占用较大，并且难以保证较快的检测速度，导致闭环检测的效果不理想。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种闭环检测方法、闭环检测装置、存储介质和电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的闭环检测效果不佳的问题。

根据本公开的一个方面，提供一种闭环检测方法，包括：获取摄像头在运动过程中拍摄的各视频帧图像，提取各所述视频帧图像的全局特征和局部不变特征；根据各所述视频帧图像的全局特征构建特征索引图，利用所述特征索引图确定待与当前视频帧图像进行闭环比对的候选视频帧图像；将所述当前视频帧图像的局部不变特征转换为第一哈希特征，将所述候选视频帧图像的局部不变特征转换为第二哈希特征，利用所述第一哈希特征和所述第二哈希特征判断所述当前视频帧图像与所述候选视频帧图像是否匹配；结合所述当前视频帧图像与所述候选视频帧图像是否匹配的结果确定闭环检测结果。

可选地，提取各所述视频帧图像的全局特征包括：将各所述视频帧图像输入一训练后的卷积神经网络，以确定出各所述视频帧图像对应的全局特征。

可选地，提取各所述视频帧图像的局部不变特征包括：确定各所述视频帧图像的SURF特征，作为各所述视频帧图像对应的局部不变特征。

可选地，所述特征索引图为HNSW图；其中，利用所述特征索引图确定待与当前视频帧图像进行闭环比对的候选视频帧图像包括：配置一先入先出队列；将在连续拍摄情况下所述当前视频帧图像前第一预定数量个视频帧图像的全局特征写入所述先入先出队列，以便确定出的候选视频帧图像不同于所述第一预定数量个视频帧图像中的任意一个。

可选地，所述闭环检测方法还包括：确定摄像头帧率以及一时间常数；根据所述摄像头帧率和所述时间常数确定所述第一预定数量。

可选地，利用所述第一哈希特征和所述第二哈希特征判断所述当前视频帧图像与所述候选视频帧图像是否匹配包括：利用所述第一哈希特征和所述第二哈希特征进行二值比率测试，以确定所述当前视频帧图像与所述候选视频帧图像的特征匹配点；采用随机采样一致性算法从所述特征匹配点中剔除误匹配点；基于剔除所述误匹配点后的特征匹配点判断所述当前视频帧图像与所述候选视频帧图像是否匹配。