[发明专利]一种基于光场的Kinect深度图像修复方法

说明书

技术领域

本发明属于光场、三维重建技术领域，具体涉及一种基于光场的Kinect深度图像修复方 法。

背景技术

三维重建是计算机视觉领域热门的研究方向之一，它研究如何通过物体的二维信息获取 物体在空间中的三维信息。借助图像与传感器，通过算法处理可以获取到相应的深度数据， 根据计算机图形学的相关知识，可以重建点云，一定程度上还原三维空间中的物体。三维重 建技术有助于记录保存三维空间的信息，记录下人类无法到达的空间中的三维信息。三维重 建技术在娱乐、教育、军事、生活、电商、医疗等方面均有广阔的应用场景，3D电影、游 戏、实验环境仿真、作战环境重建、医疗诊断、虚拟现实都是很好的体现。随着计算机视觉 技术的发展，处理器和图形处理器的功能越来越强大，同时更多地传感器设备的出现，使三 维重建技术快速发展。

随着虚拟现实技术的发展，三维重建技术也出现在了大众的视野中，而且越来越多的企 业、研究所投入到了三维重建的研究中，有关三维重建的开源项目也越来越多。2015年微软 发布的混合现实设备HoloLens上，携带了一个深度测量传感器用于测量周围环境的三维数 据。Google的“project tango”项目也是致力于实现快速、准确的三维重建。随着电商的兴 起，人们在购物时可以打破空间的束缚，借助虚拟现实技术和三维重建技，可以实现虚拟购 物令消费者近距离观察甚至“试用”商品。

三维重建技术的应用会越来越广阔，并且有着很大的发展空间，有很高的研究价值。三 维重建的基础就是获取场景深度图像，根据图像以及相机内外参生成点云数据，然后渲染三 维实体。深度图像的质量决定了重建的质量，在处理多视角点云数据时，深度图像的质量决 定了点云配准融合的精度。

发明内容

本发明要解决的技术问题为：由于设备本身的缺陷以及场景复杂度的不同，Kinect采集 的原始深度图像存在或多或少的空洞噪声，主要表现为噪声部分深度为零，其中场景中物体 的边缘出现的噪声是比较难修复的，本发明主要利用光场提取物体边缘的深度，对原始深度 图像进行修复。

本发明采用的技术方案为：一种基于光场的Kinect深度图像修复方法，所述方法包括：

步骤1、利用Kinect获取场景或物体的深度图像；

步骤2、根据所述场景或物体的深度图像，使用滤波器处理初始深度图像；

步骤3、利用Kinect的彩色摄像头或其他拍摄设备采集光场数据；

步骤4、根据所述光场数据，重构为对极平面图像(EPI，Epipolar Plane Image)组；

步骤5、根据所述对极平面图像组，进行图像边缘检测，提取图像中的直线特征；

步骤6、根据所述进行边缘检测后的对极平面图像组，进行图像膨胀，使直线特征更明 显；

步骤7、根据所述提取直线特征的图像组，利用直线检测算法检测直线的斜率；

步骤8、根据所述检测到的直线斜率，换算为相应的深度数据，合成深度图像；

步骤9、根据所述利用光场数据生成的深度图像，与Kinect深度图像融合为新的深度图 像。

其中，利用Kinect深度摄像机获取场景或物体的深度图像，其图像的表现形式为灰度图 像，包含相对空间点距离深度摄像机的投影距离。

其中，对初始深度图像，使用高斯滤波、中值滤波、双边滤波等方法进行处理。

其中，光场数据的采集利用彩色摄像机完成，有两种采集形式，一是直线型相机阵列， 二是单相机直线顺序采集。

其中，对光场图像组，提取每幅图像的同一行数据按顺序重组为对极平面图像组。

其中，使用Canny算子对对极平面图像进行边缘检测，提取图像边缘特征。

其中，对于边缘检测后的对极平面图像组，进行图像膨胀，使直线特征更明显，有利于 进行直线斜率检测。

其中，对于处理后的对极平面图像，根据处理前后的对极平面组的图像特征，计算图像 中的直线斜率。

其中，利用光场重建的边缘深度图像与Kinect采集并处理的深度图像融合，合成完整的 深度图像。

本发明与现有技术相比的优点在于：

(1)本发明从场景本身出发，提取真实的边缘深度。而非用现有深度数据估计预测边 缘深度。

(2)本发明修复后的图像边缘部分更加光滑。

(3)本发明对场景中的线、杆等较细物体的修复效果较好。

附图说明

图1为相机阵列采集光场的示意图。