[发明专利]一种基于深度传感器的室内3D语义地图构建方法

说明书

本发明公开了一种基于深度传感器的室内3D语义地图构建方法，该方法包括：利用深度传感器采集室内环境的颜色深度RGB‑D图像，并以此构建室内3D地图；对采集到的RGB‑D图像进行分割，并计算分割后RGB‑D图像的颜色与形状特征，获得对应的语义信息；将获得的语义信息与室内3D地图进行融合，获得室内3D语义地图。通过采用本发明公开的方法，可以构建包含结构语义信息与家具语义信息等语义信息，以便机器人执行高层的智能操作。

技术领域

本发明涉及机器人视觉场景理解技术领域，尤其涉及一种基于深度传感器的室内3D语义地图构建方法。

背景技术

机器人的语义感知，是室内服务机器人的核心以及至关重要的技术。传统机器人通过激光建立室内地图具有局限性。一方面激光建立的地图是2D地图，由于其缺乏有效的3D信息，在进行移动避障时，只能躲避地面物体，对于具有一定高度的物体无法躲避。另一方面，机器人只能利用激光建立的地图进行一些底层操作，如避障，移动，路径规划。而机器人并未真正理解周围环境。对于家用服务机器人，真正理解环境，理解用户的需求是至关重要的，也是人工智能的目标，是智能机器人区别于工业机器人的关键因素之一。

近几年随着深度传感器(例如，kinect等)的发展，机器人的室内3D感知能力逐步增强，在学术界，一系列3D室内环境地图构建方法应运而生，如RGB-D Mapping，KinectFusion等。在工业界，Google旗下的“ATAP”部门公布了最新的研发项目Project Tango，该项目正在研发一种带3D环境感应技术的智能手机，有望在未来能够随时建立实时的3D环境结构图。然而，这些技术都只是利用深度感应能力建立室内3D环境结构地图，在地图中缺乏语义上的理解，如什么地方是墙面，什么地方是桌子等。

发明内容

本发明的目的是提供一种基于深度传感器的室内3D语义地图构建方法，可以构建包含结构语义信息与家具语义信息等语义信息，以便机器人执行高层的智能操作。

本发明的目的是通过以下技术方案实现的：

一种基于深度传感器的室内3D语义地图构建方法，该方法包括：

利用深度传感器采集室内环境的颜色深度RGB-D图像，并以此构建室内3D地图；

对采集到的RGB-D图像进行分割，并计算分割后RGB-D图像的颜色与形状特征，获得对应的语义信息；

将获得的语义信息与室内3D地图进行融合，获得室内3D语义地图。

进一步的，所述利用深度传感器采集室内环境的颜色深度RGB-D图像，并以此构建室内3D地图包括：

由用户手持设有深度传感器的设备或由设有深度传感器的移动机器人对室内环境进行扫描，获得连续的RGB-D图像；

对所述连续的RGB-D图像进行预处理获得连续RGB-D图像之间的旋转平移矩阵，从而将连续RGB-D图像拼接来构建室内3D地图。

进一步的，所述对所述连续的RGB-D图像进行预处理获得连续RGB-D图像之间的旋转平移矩阵包括如下步骤：

计算每一帧RGB-D图像中的角点，并通过光流算法跟踪计算到的角点；

利用随机抽样一致RANSAC算法找出相邻两帧RGB-D图像中所有一致的角点，作为特征点对，其余角点均滤除；

根据相邻两帧RGB-D图像中特征点对的距离判断帧间距离，若判定帧间距离大于预设值，则表示角点数量不足，再计算RGB-D图像中ORB特征点以及描述子，并根据描述子来计算相邻两帧RGB-D图像的ORB特征点对；

利用RANSAC算法对获得的ORB特征点进行过滤处理，再利用下述公式计算相邻两帧RGB-D图像的旋转平移矩阵：