[发明专利]基于卷积神经网络与VLAD的视觉SLAM闭环检测方法在审

专利信息
申请号: 201910996478.7 申请日: 2019-10-19
公开(公告)号: CN110781790A 公开(公告)日: 2020-02-11
发明(设计)人: 阮晓钢;李昂;黄静;朱晓庆;刘少达;武悦;任顶奇 申请(专利权)人: 北京工业大学
主分类号: G06K9/00 分类号: G06K9/00;G06K9/62;G06N3/04;G06N3/08
代理公司: 11203 北京思海天达知识产权代理有限公司 代理人: 沈波
地址: 100124 *** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 闭环检测 查询图像 图像 准确率 构建 闭环 卷积神经网络 图像间相似性 训练网络模型 大型数据集 实时性要求 相似性矩阵 传统人工 大小判断 环境变化 局部空间 两幅图像 特征表达 网络模型 余弦距离 重要意义 输出 三元组 有效地 池化 裁剪 衡量 全局 统计 网络
【说明书】:

发明公开了基于卷积神经网络和VLAD的闭环检测方法,包括以下步骤:对VGG16网络进行裁剪,然后在最后一层加入基于VLAD思想的池化层NetVLAD,构建新的网络模型VGG‑NetVLAD;利用含有三元组的大型数据集训练网络模型的参数;将当前查询图像输入到VGG‑NetVLAD中,提取NetVLAD层的输出作为图像的特征表达;采用余弦距离作为衡量图像间相似性的标准,计算当前查询图像与其他图像的相似性得分;统计每两幅图像间的得分最终构成相似性矩阵;根据阈值大小判断产生的闭环区域,输出准确率召回率曲线。本方法考虑了图像的局部空间特性和传统人工设计的特征易受环境变化的影响,有效地提高了闭环检测的准确率和召回率,并满足了实时性要求,对构建全局一致的地图具有重要意义。

技术领域

本发明涉及图像处理、深度学习和视觉同时定位与地图构建领域,具体涉及一种基于卷积神经网络与VLAD的闭环检测方法。

背景技术

近年来,闭环检测已经成为了移动机器人导航领域的关键问题和研究热点,尤其是在视觉同时定位与地图构建(Visual Simultaneous Localization and Mapping,VSLAM)的问题上。视觉SLAM主要由视觉里程计、后端图优化、闭环检测和建图四部分组成。其中闭环检测也称为位置识别,它是指机器人在导航过程中使用视觉传感器提供的图像来识别是否经过了以前到达的位置。假设在当前时刻和较早时刻相机捕获了两幅图像,那么闭合检测的任务就是根据这两幅图像的相似性来判断这两个时刻的位置是否相同。正确的闭环检测可以为后端优化的姿态图中增加边缘约束,进一步优化机器人的运动估计,消除视觉里程计产生的累计位姿误差。而错误的闭环检测会导致地图绘制失败。因此,一个好的闭环检测算法对于构建全局一致性地图乃至整个SLAM系统都至关重要。

传统的闭环检测算法大致可以分为两类:词袋模型算法和全局描述子算法。然而,这些方法所使用的都是人为设计的低层特征,对光照、天气等因素的影响很敏感,因此缺乏必要的鲁棒性。

随着大规模数据集的公开以及各种硬件的升级,深度学习得到了迅速发展。深度学习能够通过多层神经网络对输入的图像提取抽象的高层特征,从而更好地应对环境的变化,这种优势使其在图像分类和图像检索中得到了广泛应用。考虑到闭环检测问题与图像检索十分相似,研究者们开始尝试将深度学习应用于闭环检测。

发明内容

为了进一步提高闭环检测算法的准确率和鲁棒性,本发明提出了一种基于卷积神经网络与VLAD的闭环检测方法。该网络保留了VGG16的部分结构,并在最后一层引入了基于VLAD思想的池化层NetVLAD。将NetVLAD层输出的特征作为图像的表达,然后采用余弦距离作为相似性度量的标准,计算图像间的相似性。

本发明通过以下技术方案实现:

一种基于卷积神经网络与VLAD的视觉SLAM闭环检测方法,包括以下步骤:

第一步、构建融合VGG16和VLAD的网络模型VGG-NetVLAD:对VGG16进行剪裁,然后在最后一层加入池化层NetVLAD。

第二步、利用大型数据集训练网络模型得到最优参数。

第三步、将待查询图像和待匹配图像进行预处理,然后输入到网络中,提取NetVLAD层输出的特征作为图像的表达。

第四步、对第三步得到的特征向量,采用余弦距离作为衡量两幅图像相似性的标准,计算相似度得分。

第五步、重复第三步、第四步,计算所有图像间的相似度,构建最终的相似性矩阵。

第六步、通过设定阈值判断相似性矩阵中何处产生了闭环,并输出闭环检测的准确率召回率曲线。

第一步中:

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京工业大学,未经北京工业大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201910996478.7/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top