[发明专利]三维语义地图的构建方法和装置

说明书

本申请提供一种三维语义地图的构建方法和装置，其中，该方法包括：获取相机采集样本空间得到的图像数据，对RGB图像进行语义分割，获取二维语义图像，对相机的位姿进行回环检测和重定位，确定每一帧图像数据的相机位姿，构建三维空间地图，将二维语义图像和三维空间地图融合，得到样本空间的三维语义地图。该技术方案中，通过对样本空间的RGB图像进行语义分割得到语义信息，同时通过对相机的位姿进行回环检测和重定位，构建三维空间地图，并结合语义信息对样本空间进行三维优化重建，最终得到的三维语义地图能够方便用户或者机器更加自由的与样本空间进行信息交互，方便用户或机器能够快速的对样本空间中的物体进行识别和查询。

技术领域

本申请涉及图像技术领域，尤其涉及一种三维语义地图的构建方法和装置。

背景技术

随着图像技术的发展，三维图像技术在地图构建、人脸识别、室内场景重建等诸多领域都得到应用，用户可以通过手持深度相机环绕场景，采集深度图像，然后通过深度相机的内参将采集的深度图像转化为三维点云，根据三维点云即可构建得到该场景的三维地图。

现有技术中，在构建三维场景地图时，是将场景中各个目标物的轮廓、形状以及位置信息等通过图像的形式体现出来，后续还需要操作人员根据生活经验来识别出这些目标物的名称、所属类别等等，现有技术构建的这种三维场景地图的使用效果差，不利于机器或者其他用户快速的识别以及查找到三维场景地图中的目标物。

发明内容

本申请提供一种三维语义地图的构建方法和装置，用于解决现有三维场景地图无法使得机器或用户快速查识别找目标物的问题。

第一方面，本申请实施例提供一种三维语义地图的构建方法，包括：

获取相机采集样本空间得到的图像数据，所述图像数据包括RGB图像和深度图像；

根据预设深度学习网络，对所述RGB图像进行语义分割，获取二维语义图像，所述二维语义图像包括描述所述样本空间的语义信息；

获取所述二维语义图像和深度图像的编码信息，对相机的位姿进行回环检测和重定位，确定每一帧图像数据的相机位姿；

根据所述深度图像，构建三维空间地图；

根据所述每一帧图像数据的相机位姿，将所述二维语义图像和所述三维空间地图融合，得到所述样本空间的三维语义地图。

在第一方面的一种可能设计中，所述预设深度学习网络包括浅层网络、深度残差网络和全局平均池化，所述根据预设深度学习网络，对所述RGB图像进行语义分割，获取二维语义图像，包括：

根据所述浅层网络对所述RGB图像进行特征提取，获取低层空间特征信息，所述浅层网络包括卷积层、归一化层和激活层；

根据深度残差网络和全局平均池化，对所述RGB图像进行特征提取，得到高层上下文信息；

对所述高层上下文信息进行上采样，得到空间维数与所述低层空间特征信息匹配的高维高层上下文信息；

将所述低层空间特征信息和所述高维高层上下文信息进行特征融合，得到二维语义图像。

在第一方面的另一种可能设计中，所述根据深度残差网络和全局平均池化，对所述RGB图像进行特征提取，得到高层上下文信息，包括：

根据深度残差网络对所述RGB图像进行特征提取，得到特征信息；

对所述特征信息进行下采样，扩大所述特征信息的感受野；

根据所述全局平均池对所述感受野进行扩大，获取全局上下文信息；

将所述全局上下文信息与所述特征信息结合，得到所述高层上下文信息。