[发明专利]一种基于关键帧相关性的视觉地图定位方法和系统

说明书

一种基于关键帧相关性的视觉地图定位方法和系统，根据定位帧的全局描述子对视觉地图进行图像检索，利用关键帧相关性对图像检索的结果进行处理，根据处理结果对定位帧进行定位。本发明的基于关键帧相关性的视觉地图定位方法和系统通过设定关键帧相关系数的阈值或者利用关键帧相关性对图像检索的结果进行加权筛选，滤除图像检索的结果的聚集性，在总计算力有限的情况下，保证了更高的图像检索召回率，提升视觉地图定位的成功率。

技术领域

本发明属于视觉地图、视觉定位、图像检索领域，具体涉及一种基于关键帧相关性的视觉地图定位方法和系统。

背景技术

在图像检索中，一般采用最近邻搜索(K-Nearest Neighbors，KNN)等方式进行检索，检索依据为图像的整体描述子(全局描述子)。KNN返回的候选的数量为K，在一般情况下，KNN返回的候选越多(K越大)，其召回率越高(召回率为返回的关键帧结果中包含正确的候选的概率)。在实际应用中，图像检索本身不是特别耗时，但是对检索出来的候选帧的后续处理例如sim3变换，、解算位姿等比较耗费时间，考虑到对实时性的要求，K一般被限制在一个比较小的数值，但在K比较小时，单纯的依赖图像检索的结果并且进行后续处理，容易造成定位失败的结果。

具体来说，KNN返回的结果原本的排序是根据描述子之间的距离大小进行排序的。排在越前面的关键帧，其全局描述子的距离(欧氏/hamming/余弦距离，描述子一般是固定长度的一维向量(同种类的描述子长度一样))越小。在各种应用场景中，往往存在许多干扰，比如相似的墙角、相似的拐角等，可能导致排名靠前的top K种包含不少这样的干扰项。另外，同一个地方的关键帧，由于描述的物体类似，描述子也类似，可能导致返回的top K中有数个同一地点的关键帧候选，这个候选可能是对的，也可能是错的，这种对于同一个地点的多个关键帧候选，对后续的定位并没有明显的提升(假设候选是对的，后续处理只要有一帧对的就可以走通流程)。例如假设有三个全局描述子类似的候选地点A，B，C，其对应的关键帧分别为A1，A2，A3，A4……B1，B2，B3……C1，C2，C3……假设C是正确的候选。在第一种情况下，Top K返回的结果可能是A1，B1，A2，B2，C1……；假设K取4，则正确的结果被排除在了外边；第二种情况下，返回的结果可能是A1，A2，A3，A4，A5，C1。A1-A5描述的其实是同一个候选地点，仅需判断A1是否为正确的候选即可。但是由于A1-A5类似，他们被一同排在了前面。导致正确的C被排在了K之外，引起定位的失败，如果通过K的取值变大，可以避免上述两种失败情况，但是后续处理时间会显著增加，对实时应用产生阻碍。

因此需要一种在后续处理例如sim3变换，、解算位姿等的处理时间不变的情况下，即返回给后续处理的关键帧的数量不变的情况下，提高定位成功率的方法和系统。

发明内容

为了克服现有技术缺陷，本发明的目的是提供一种基于关键帧相关性的视觉地图定位方法和系统。为了实现上述目的，本发明采用的技术方案如下：

本发明的一个方面提供了一种基于关键帧相关性的视觉地图定位方法，根据定位帧的全局描述子对所述视觉地图进行图像检索，根据检索结果对所述定位帧进行定位，所述方法还包括利用关键帧相关性对所述图像检索的结果进行处理，根据所述处理结果对所述定位帧进行定位。

优选地，所述利用关键帧相关性对所述图像检索的结果进行处理通过设定关键帧相关系数的阈值对所述图像检索的结果进行筛选。

优选地，所述利用关键帧相关性对所述图像检索的结果进行处理包括以下步骤：

设定对所述处理结果中关键帧的数量；设定所述图像检索返回的关键帧数量大于所设定的处理结果中关键帧的数量；设定所述关键帧相关系数的阈值；

遍历所述图像检索返回的关键帧，如果当前关键帧与所述处理结果中的任意关键帧相关系数都大于所述阈值，则跳过所述当前关键帧，查询下一关键帧；否则，将所述当前关键帧加入所述处理结果；直到所述处理结果中关键帧的数量达到所述设定的处理结果中关键帧的数量。