[发明专利]基于稠密语义三维地图与混合特征的视觉定位方法、系统

权利要求书

1.一种基于稠密语义三维地图与混合特征的视觉定位方法，其特征在于，该方法包括：

步骤S100，获取基于目标场景的数据库图片构建的稠密三维模型、稠密语义三维模型；

步骤S200，对输入的查询图像，通过图像检索方法从所述数据库图片中获取多个候选检索图像；

步骤S300，通过基于多种特征点建立的所述查询图像和各所述候选检索图像的特征匹配关系，分别建立所述查询图像与所述稠密三维模型的匹配关系，得到第一匹配关系的集合；

步骤S400，基于所述第一匹配关系的集合，获取每个匹配关系下所述查询图像对应图像采集装置的初始位姿，得到初始位姿集合；

步骤S500，基于每一个所述初始位姿，获取第一点集、第二点集，并统计两个点集中语义标签一致的点的数量，作为对应候选检索图像的语义一致性得分；所述第一点集为所述查询图像在所述初始位姿下可视的所述稠密语义三维模型中的三维点；所述第二点集为所述三维点在所述查询图像上的二维投影点；

步骤S600，基于各候选检索图像的语义一致性得分，获取对各第一匹配关系的权重，通过基于权重RANSAC的位姿计算方法进行所述查询图像对应图像采集装置视觉定位。

2.根据权利要求1所述的基于稠密语义三维地图与混合特征的视觉定位方法，其特征在于，步骤S100中所述稠密三维模型、所述稠密语义三维模型，其构建方法为：

基于目标场景的数据库图片建立稠密三维模型；所述数据库图片包括多幅所述目标场景的图片；

对所述数据库图片进行语义分割，基于稠密三维模型获取稠密语义三维模型。

3.根据权利要求1所述的基于稠密语义三维地图与混合特征的视觉定位方法，其特征在于，“基于目标场景的数据库图片建立稠密三维模型”，其方法为：

基于所述数据库图片，通过SfM算法建立稀疏的三维模型；

基于所述稀疏的三维模型，通过MVS算法建立稠密三维模型。

4.根据权利要求1所述的基于稠密语义三维地图与混合特征的视觉定位方法，其特征在于，步骤S300中“多种特征点”包括SIFT和R2D2两种特征点。

5.根据权利要求1所述的基于稠密语义三维地图与混合特征的视觉定位方法，其特征在于，步骤S300中“通过基于多种特征点建立的所述查询图像和各所述候选检索图像的特征匹配关系”，其方法为：

通过多种特征点提取方法，对所述查询图像和各所述候选检索图像分别进行对应的多种特征点的提取；

基于所提取的特征点，建立所述查询图像和各所述候选检索图像的2D-2D的特征匹配关系。

6.根据权利要求5所述的基于稠密语义三维地图与混合特征的视觉定位方法，其特征在于，步骤S300中“建立所述查询图像与所述稠密语义三维模型的匹配关系”，其方法为：

对每一个所述候选检索图像，通过其对应深度图的深度值，获取对应特征点的三维坐标，并基于该候选检索图像与所述查询图像的特征匹配关系获取所述查询图像与所述稠密语义三维模型之间的2D-3D匹配关系。

7.根据权利要求1所述的基于稠密语义三维地图与混合特征的视觉定位方法，其特征在于，步骤S400中所述初始位姿，其获取方法为：

对于每一个第一匹配关系，通过PnP算法计算该匹配关系下所述查询图像对应图像采集装置的位姿。

8.根据权利要求1所述的基于稠密语义三维地图与混合特征的视觉定位方法，其特征在于，步骤S600中“基于各候选检索图像的语义一致性得分，获取对各第一匹配关系的权重”，其方法为：

对各候选检索图像的语义一致性得分进行加和，得到得分总和；

对每一个候选检索图像的语义一致性得分根据所述得分总和进行归一化，得到对应候选检索图像的权重。