[发明专利]一种基于深度传感器的室内3D语义地图构建方法

权利要求书

1.一种基于深度传感器的室内3D语义地图构建方法，其特征在于，该方法包括：

利用深度传感器采集室内环境的颜色深度RGB-D图像，并以此构建室内3D地图；

对采集到的RGB-D图像进行分割，并计算分割后RGB-D图像的颜色与形状特征，获得对应的语义信息；

将获得的语义信息与室内3D地图进行融合，获得室内3D语义地图；

其中，所述利用深度传感器采集室内环境的颜色深度RGB-D图像，并以此构建室内3D地图包括：由用户手持设有深度传感器的设备或由设有深度传感器的移动机器人对室内环境进行扫描，获得连续的RGB-D图像；对所述连续的RGB-D图像进行预处理获得连续RGB-D图像之间的旋转平移矩阵，从而将连续RGB-D图像拼接来构建室内3D地图；

并且，将连续RGB-D图像拼接来构建室内3D地图之前还包括：对每一帧RGB-D图像进行稀疏化处理，其过程如下：假设每1cm的立方体内只有一个点，即，分辨率为1cm；对3m＊3m＊3m的空间进行稀疏化，分辨率为1cm，则需要300＊300＊300大小的状态数组，在GPU端，每个线程处理图像中的一个点，根据坐标计算其相对于状态数组的索引，根据状态数组判断空间是否被占用，没占用标记为占用，占用了则不将该点加入全局场景中；

所述对所述连续的RGB-D图像进行预处理获得连续RGB-D图像之间的旋转平移矩阵包括如下步骤：

计算每一帧RGB-D图像中的角点，并通过光流算法跟踪计算到的角点；

利用随机抽样一致RANSAC算法找出相邻两帧RGB-D图像中所有一致的角点，作为特征点对，其余角点均滤除；

根据相邻两帧RGB-D图像中特征点对的距离判断帧间距离，若判定帧间距离大于预设值，则表示角点数量不足，再计算RGB-D图像中ORB特征点以及描述子，并根据描述子来计算相邻两帧RGB-D图像的ORB特征点对；

利用RANSAC算法对获得的ORB特征点进行过滤处理，再利用下述公式计算相邻两帧RGB-D图像的旋转平移矩阵：

其中，n为相邻两帧RGB-D图像特征点对的个数，p_i与q_i分别为相邻两帧RGB-D图像中第i个特征点，R、T分别为旋转、平移矩阵；将使得E为最小值的R、T作为最终结果。

2.根据权利要求1所述的方法，其特征在于，所述对采集到的RGB-D图像进行分割，并计算分割后RGB-D图像的颜色与形状特征，获得对应的语义信息包括：

利用2D图像分割算法对采集到的每一帧RGB-D图像分别进行超像素分割；

利用计算机视觉算法计算每一超像素的颜色与形状特征，再利用支持向量机SVM分类器对计算到的颜色与形状特征进行分类，获得若干语义类别的分类器；最终获得的若干语义类别的分类器是与颜色和形状特征类别对应的分类器，其语义类别数量也与颜色和形状特征类别相对应；

利用获得的语义类别分类器对每一帧RGB-D图像中的超像素进行分类，从而得到RGB-D图像的语义信息。

3.根据权利要求1或2所述的方法，其特征在于，所述将获得的语义信息与室内3D地图进行融合，获得室内3D语义地图包括：

将室内3D地图分割成若干体素；

利用机器学习中的Dense CRF模型并结合获得的RGB-D图像的语义信息进行体素语义信息推理，确定每一体素的语义信息，形成最终的语义3D场景地图。