[发明专利]基于稠密语义三维地图与混合特征的视觉定位方法、系统

说明书

本发明属于视觉定位领域，具体涉及一种基于稠密语义三维地图与混合特征的视觉定位方法、系统，旨在为了解决解决在较大的外观变化或者拍照条件变化下现有视觉定位方法鲁棒性和精确度较低的问题。本发明方法包括：获取目标场景的稠密三维模型、稠密语义三维模型；获取查询图像的多个候选检索图像；获取查询图像，与各候选检索图像、稠密三维模型的匹配关系；基于匹配关系估计临时位姿，投影所有可见的带有语义的三维点到查询图像上，并统计三维点和查询图像上的二维投影点语义标签一致的数量作为语义一致性得分，通过基于权重RANSAC的位姿计算方法获取最终定位信息。本发明提高了视频定位的鲁棒性和精确度。

技术领域

本发明属于视觉定位领域，具体涉及一种基于稠密语义三维地图与混合特征的视觉定位方法、系统。

背景技术

目前，视觉定位方法主要可分为三种类型，分别为基于图像检索的方法、基于深度学习的方法以及基于三维模型的方法。与前两种类型方法相比，基于三维模型的方法能够提供更准确的相机姿态。虽然当查询图像和数据库图片所在的拍摄环境较为相似时，传统的基于三维模型的定位方法可以很好地工作，但是在场景外观变化较大的情况下，例如查询图片和数据库图像是在不同的季节、光照或天气下拍摄的，这些传统的定位方法往往无法对查询图像进行精确的定位。其主要原因是这些方法需要获取大量正确的2D-3D特征匹配，因此这些方法严重依赖于局部特征的稳定性，而传统的局部特征对外观和光照的变化十分敏感，导致在大时间跨度的场景中可能会产生较多的匹配外点，进而导致视觉定位失败。

发明内容

为了解决现有技术中的上述问题，即为了解决在较大的外观变化或者拍照条件变化下现有视觉定位方法鲁棒性和精确度较低的问题，本发明的第一方面，提出了一种基于稠密语义三维地图与混合特征的视觉定位方法，该方法包括：

步骤S100，获取基于目标场景的数据库图片构建的稠密三维模型、稠密语义三维模型；

步骤S200，对输入的查询图像，通过图像检索方法从所述数据库图片中获取多个候选检索图像；

步骤S300，通过基于多种特征点建立的所述查询图像和各所述候选检索图像的特征匹配关系，分别建立所述查询图像与所述稠密语义三维模型的匹配关系，得到第一匹配关系的集合；

步骤S400，基于所述第一匹配关系的集合，获取每个匹配关系下所述查询图像对应图像采集装置的初始位姿，得到初始位姿集合；

步骤S500，基于每一个所述初始位姿，获取第一点集、第二点集，并统计两个点集中语义标签一致的点的数量，作为对应候选检索图像的语义一致性得分；所述第一点集为所述查询图像在所述初始位姿下可视的所述稠密语义三维模型中的三维点；所述第二点集为所述三维点在所述查询图像上的二维投影点；

步骤S600，基于各候选检索图像的语义一致性得分，获取对各第一匹配关系的权重，通过基于权重RANSAC的位姿计算方法进行所述查询图像对应图像采集装置视觉定位。

在一些优选的实施方式中，步骤S100中所述稠密三维模型、所述稠密语义三维模型，其构建方法为：

基于目标场景的数据库图片建立稠密三维模型；所述数据库图片包括多幅所述目标场景的图片；

对所述数据库图片进行语义分割，基于稠密三维模型获取稠密语义三维模型。

在一些优选的实施方式中，“基于目标场景的数据库图片建立稠密三维模型”，其方法为：

基于所述数据库图片，通过SfM算法建立稀疏的三维模型；

基于所述稀疏的三维模型，通过MVS算法建立稠密三维模型。

在一些优选的实施方式中，步骤S300中“多种特征点”包括SIFT和R2D2两种特征点。