[发明专利]一种基于语义分割的SLAM回环检测改进方法

权利要求书

1.一种基于语义分割的SLAM回环检测改进方法，其特征在于，包括以下步骤：

步骤一、获取道路场景语义分割的通用数据集，将该通用数据集按照划分为训练集、测试集、验证集；

步骤二、使用RGB摄像头获取环境图像，在不同种环境状况下采集道路环境图像；

步骤三、将训练集中的每张RGB图片送入语义分割网络进行语义分割处理，利用验证集验证效果后，获取语义分割预测的各个像素的分类结果；

步骤四、根据分类结果，获取语义分割图中包含对应类别的对象特征向量，计算各个对象相对于参照对象的位置向量，将得到的位置向量作为地点模型的对象间位置关系；

步骤五、构建包含语义信息的地点模型，具体如下：

定义场景模型语义描述符L，表示环境语义模型中的物体特征分量：

式中l_i是特征图中D维描述符x_i在位置i处的语义标签，x_i是D维的特征描述符，μ_s是标签类别的平均值，s为语义分割网络得到的分类信息，N是语义标签的位置集合；

L_s表示得到的对象特征向量的具体组成，是来自特定语义类别的残差描述符所构成的集合，公式如下所示：

得到的语义组合向量L是所有需要建模的语义描述符L_s按照从左到右，从上到下的顺序级联；对得到的级联描述向量进行L2范数归一化，具体计算公式如下所示：其中L′为归一化之后的结果；

为得到建模地点的空间位置信息，将图像划分为n*n的网格，选取图像中的静态物体的中心点作为参照点，从左向右，从上向下遍历网格，如果网格中存在像素块，则求对应像素块中心点到参照点的向量：

其中是语义分割图中B物体的中心坐标相对于原点的向量，是语义分割图中A物体的中心坐标相对于原点的向量，为B相对于参照物体A的向量差，表示A物体与B物体之间的空间位置关系；

步骤六、通用数据集中的图像经过地点模型分析得到语义地点向量，创建地点的图像库，存入包含地点语义信息的向量，

步骤七、匹配待检测图像和图像库中图像的相似度；

步骤八、进行闭环检测，如果找到相似度超过阈值的向量，则代表当前图像是闭环节点，否则把当前图像加入到已有的图像库中。

2.根据权利要求1所述的基于语义分割的SLAM回环检测改进方法，其特征在于，所述语义分割网络为改进的DeepLab v3网络，所述改进的DeepLab网络是在原来DeepLab网络的空洞空间卷积池化金字塔(Atrous Spatial Pyramid Pooling，ASPP)模块上引入全局注意力模块，对特征进行提取，同时在原来空洞卷积的各个分支后面添加3*3的卷积，进一步对特征进行提取；改进的DeepLab网络得到每一个像素的标签作为语义分割的结果。

3.根据权利要求2所述的基于语义分割的SLAM回环检测改进方法，其特征在于，所述改进的DeepLab v3网络的类别包括建筑物、树木、道路、交通指示牌、汽车，所述改进的DeepLab v3网络对物体类别进行颜色标记。

4.根据权利要求3所述的基于语义分割的SLAM回环检测改进方法，其特征在于，所述改进的DeepLab v3网络使用全局注意力机制得到多尺度聚合特征图，从主干网络的卷积层中提取低层细节特征图，将多尺度聚合特征图和低层细节特征图作为共同送入解码器网络进行上采样，从而得到经过注意力筛选的语义分割图。