[发明专利]基于RGBIR摄像头的单目结构光深度感知方法及装置

说明书

本发明提供了一种基于RGBIR摄像头的单目结构光深度感知方法及装置，采用红外激光散斑编码投射器投射红外散斑图像，或利用红外泛光源照射出红外图像，然后用RGBIR摄像头按帧采集RGBIR RAW数据并进行分离，对分离出来的RGB图进行图像信号处理，对红外散斑图进行深度感知解码得到深度值或3D点云，对红外图进行红外图像增强处理，最后可选择输出深度图、RGB图、红外图、RGBD联合数据或XYZRGB点云数据，本发明的装置结构间凑，可获得多种图像信息，包括深度图、RGB图、红外图或点云信息，且无需进行RGBD配准即可获得一一对应的XYZRGB点云数据。

技术领域

本发明属于计算机视觉、人机交互和集成电路技术领域，具体涉及一种基于RGBIR摄像头的单目结构光深度感知方法及装置。

背景技术

当前虚拟世界正无限接近于现实世界，人机交互技术将成为连接虚拟与现实的“桥梁”。随着计算机性能的不断提升，人们也在不断地探索更加简单便捷的方式与机器交流。其中视觉感官则是人类观察、认识、体验的最直接也是最重要的手段。

基于结构光主动视觉的深度感知技术可以获取较为准确的深度信息，且不受环境光的影响、算法和硬件实现相对简单。但目前的结构光深度感知装置中RGB摄像头和IR摄像头是分离的，RGB摄像头可以获得纹理信息，IR摄像头可以获得红外图像和深度信息，两者需要通过同步和RGBD精确配准才能建立一对一的对应关系，参见专利CN204481940U，双目摄像头拍照移动终端，就是利用一RGB彩色摄像头，一IR红外摄像头的双摄像头配置进行深度信息获取。但由于装配精度、标定精度和使用过程的影响，往往很难实现远近不同距离的RGB图像素与深度图或3D点云能一一对应。

发明内容

鉴于此，本发明提供了一种基于RGBIR摄像头的单目结构光深度感知方法及装置，采用红外激光散斑编码投射器投射红外散斑图像，或用红外泛光源照射出红外图像，用单一的RGBIR摄像头采集RGBIR图，深度感知解码模块对输入的RGBIR RAW数据进行分离，包括RGB图、IR图(红外散斑图或红外图)，其中对RGB图进行传统图像信号处理(Image SignalProcessing，ISP)，对红外散斑图进行深度感知解码得到深度值或3D点云，对红外图则进行红外图像增强处理，最后可选择输出深度图、RGB图、红外图、RGBD联合数据或XYZRGB点云数据。

为实现以上发明目的，本发明提供了一种基于RGBIR摄像头的单目结构光深度感知方法，具体地包括以下步骤：

步骤1：RGBIR图像投射，利用红外激光散斑编码投射器投射红外散斑图像或利用红外泛光源照射出红外图像到目标物体或投射空间上；

步骤2：RGBIR图像采集，利用单一RGBIR摄像头将步骤1发出的红外散斑图像或者红外图像，和可见光RGB图像一起采集进来，获得RGBIR RAW数据；

步骤3：RGBIR图像分离，将步骤2采集到的RGBIR RAW数据进行图像分离，形成RGB图像，红外散斑图像或红外图像，为后面各自的图像处理做好准备；

步骤4：分离后图像处理，将分离出来的RGB图像进行常规信号处理ISP，分离出来的红外图像进行红外增强处理，分离出来的红外散斑图则进行深度感知解码，其处理过程包括：预处理，图像旋转，块匹配，深度计算，后处理，三维点云生成；

步骤5：数据选择输出，将经过图像信号处理后的RGB图像、红外图像、深度图或点云进行选择性的输出，可选择输出深度图，RGB图像，红外图像，RGBD数据或者XYZRGB点云数据。

此外，本发明还提供了一种基于RGBIR摄像头的单目结构光深度感知装置，具体包括：RGBIR图像产生模块，RGBIR图像采集模块，RGBIR图像分离模块，RGBIR图像处理模块，和选择输出模块：