[发明专利]一种基于Kinect2传感器的室内夜间视觉导航方法

说明书

本发明公开了一种基于Kinect2传感器的室内夜间视觉导航方法，机器人在运动过程中采用Kinect2传感器获取红外图像和深度图像序列，采用首帧红外图像的特征点对红外特征数据库进行初始化，采用首帧深度图像初始化3D点云数据库，然后在后续帧红处图像中提取红外特征点，与红外特征数据库中的特征点进行匹配，与3D点云对应，去除外点，根据剩下的匹配特征点对获取当前帧对应的旋转矩阵R_t和平移矩阵T_t，并将当前帧的点云与现有3D地图进行对齐与拼接，实现3D地图扩展。本发明利用Kinect2传感器获取的红外图像，结合深度图像，实现可靠性较高的机器人室内夜间视觉导航。

技术领域

本发明属于机器人和计算机视觉技术领域，更为具体地讲，涉及一种基于Kinect2传感器的室内夜间视觉导航方法。

背景技术

导航技术是机器人的核心关键技术之一。随着行业对机器人需求的不断提出，机器人市场的蓬勃发展，不断涌现出各类的导航技术。现有的室内导航定位技术主要分为基于视觉的传感器和非视觉传感器。采用视觉导航方式的优势在于价格低廉，容易消除累计误差，但难以实现夜间定位。非视觉传感器包括编码器、惯性测量单元、激光、RFID、Wifi、蓝牙、超宽带等。非视觉传感器对于光线没有要求，可以工作在白天和黑夜，但编码器、惯性测量单元容易产生累计误差且无法消除；激光和超宽带的精度高，但价格通常比较昂贵；RFID、Wifi、蓝牙的定位精度不高，且需要分布式布点。

如前所述，视觉传感器有非视觉传感器不可比拟的优势，而视觉传感器在室内夜间移动平台上通常不可用，原因如下：一方面，视觉传感器对光照有要求，在无光或少光的情况下，通常需要增加曝光时间；另一方面，增长曝光时间会使得运动中的移动平台采集到模糊图像，极大地影响准确度。Kinect2是微软公司推出的第二代体感感应器，主要采用Time of Flight的技术实现，其深度信息是通过主动发射红外光所获得，获得的红外光同时可以产生输出红外图像。当然，红外图像相对于普通RGB图像来讲，图像对比度较弱，提取的特征明显少于普通的RGB图像，这增加了夜间视觉导航的难度，故不能直接转移应用至RGB的视觉导航技术。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于Kinect2传感器的室内夜间视觉导航方法，基于Kinect2传感器获取的红外图像和深度图像来实现可靠的室内夜间视觉导航。

为实现上述发明目的，本发明基于Kinect2传感器的室内夜间视觉导航方法包括以下步骤：

S1：在室内运动区域的机器人视野范围内搜索夜间红外特征缺乏处，如果存在，则补充红外特征图案，否则不作任何操作；

S2：机器人在运动过程中，采用Kinect2传感器获取红外图像和深度图像序列，并分别对红外图像和深度图像进行预处理，其中红外图像采用图像增强处理，深度图像的预处理方法为：对深度图像进行深度判断，如果深度超过Kinect2传感器的有效距离，将深度图像中与Kinect2传感器距离大于有效距离的点删除，仅保留有效距离范围内的点；

S3：如果当前图像序号t＝1，进入步骤S4，否则进入步骤S5；

S4：对首帧红外图像进行红外特征提取，得到红外特征点，将各个红外特征点信息放入红外特征数据库；记首帧的投影矩阵P₁为：

其中，R₁表示首帧的旋转矩阵，T₁表示首帧的平移矩阵；

采用首帧深度图像初始化3D点云数据库，形成3D地图，将首帧所对应的机器人位置坐标作为坐标原点，然后返回步骤S2；

S5：对当前帧红外图像中进行红外特征提取，得到红外特征点，根据当前帧的深度图像获取红外特征点对应的3D点，如果对应3D点存在，则不作任何操作，否则删除该红外特征点；