[发明专利]一种基于深度传感器的室内3D语义地图构建方法

摘要

本发明公开了一种基于深度传感器的室内3D语义地图构建方法，该方法包括：利用深度传感器采集室内环境的颜色深度RGB‑D图像，并以此构建室内3D地图；对采集到的RGB‑D图像进行分割，并计算分割后RGB‑D图像的颜色与形状特征，获得对应的语义信息；将获得的语义信息与室内3D地图进行融合，获得室内3D语义地图。通过采用本发明公开的方法，可以构建包含结构语义信息与家具语义信息等语义信息，以便机器人执行高层的智能操作。

主权项

1.一种基于深度传感器的室内3D语义地图构建方法，其特征在于，该方法包括：利用深度传感器采集室内环境的颜色深度RGB‑D图像，并以此构建室内3D地图；对采集到的RGB‑D图像进行分割，并计算分割后RGB‑D图像的颜色与形状特征，获得对应的语义信息；将获得的语义信息与室内3D地图进行融合，获得室内3D语义地图；其中，所述利用深度传感器采集室内环境的颜色深度RGB‑D图像，并以此构建室内3D地图包括：由用户手持设有深度传感器的设备或由设有深度传感器的移动机器人对室内环境进行扫描，获得连续的RGB‑D图像；对所述连续的RGB‑D图像进行预处理获得连续RGB‑D图像之间的旋转平移矩阵，从而将连续RGB‑D图像拼接来构建室内3D地图；并且，将连续RGB‑D图像拼接来构建室内3D地图之前还包括：对每一帧RGB‑D图像进行稀疏化处理，其过程如下：假设每1cm的立方体内只有一个点，即，分辨率为1cm；对3m＊3m＊3m的空间进行稀疏化，分辨率为1cm，则需要300＊300＊300大小的状态数组，在GPU端，每个线程处理图像中的一个点，根据坐标计算其相对于状态数组的索引，根据状态数组判断空间是否被占用，没占用标记为占用，占用了则不将该点加入全局场景中；所述对所述连续的RGB‑D图像进行预处理获得连续RGB‑D图像之间的旋转平移矩阵包括如下步骤：计算每一帧RGB‑D图像中的角点，并通过光流算法跟踪计算到的角点；利用随机抽样一致RANSAC算法找出相邻两帧RGB‑D图像中所有一致的角点，作为特征点对，其余角点均滤除；根据相邻两帧RGB‑D图像中特征点对的距离判断帧间距离，若判定帧间距离大于预设值，则表示角点数量不足，再计算RGB‑D图像中ORB特征点以及描述子，并根据描述子来计算相邻两帧RGB‑D图像的ORB特征点对；利用RANSAC算法对获得的ORB特征点进行过滤处理，再利用下述公式计算相邻两帧RGB‑D图像的旋转平移矩阵：其中，n为相邻两帧RGB‑D图像特征点对的个数，pi与qi分别为相邻两帧RGB‑D图像中第i个特征点，R、T分别为旋转、平移矩阵；将使得E为最小值的R、T作为最终结果。