[发明专利]一种基于Kinect的实时深度图与彩图的配准及优化方法

说明书

一种基于Kinect实时的深度图对彩图的配准及优化方法，首先从通过kinect获取深度图，然后用背景填充法对深度图像的细小空洞进行填补，然后通过双向线性扫描轮询插值法填补深度图较大空洞，由此得到初步的深度图图像。再建立并计算得到深度图到彩图的坐标映射表，处理坐标异常部分，找到并剪除无效带重影的区域，然后建立深度图到彩图的投影图像，得到带一系列离散深度点的RGB‑深度图，然后通过线性扫描决策取值法进行空洞部分的填补，将如此得到的深度图和彩图裁剪成对应大小就可以得到实时并且准确的RGB‑深度图。本发明提供一种实时性良好、稳定性良好、准确性较高的基于Kinect的实时深度图与彩图的配准及优化方法。

技术领域

本发明涉及图像处理、数值分析、三维重建、计算机科学，并行计算等领域，尤其是一种基于Kinect的实时深度图与彩图的配准及优化方法。

背景技术

视频的深度生成技术是计算机视觉领域的经典难题。到目前为止，没有一个算法能够在保证视频深度生成的实时性的同时保证对复杂场景的深度生成的正确性。因此人们更倾向于利用外部设备进行深度和视频的同时捕获来保证深度信息的实时性和正确性。

近几年，微软推出了轻便、小巧而且便宜的Kinect设备，它可以实时获取场景内的深度图像和彩色图像，但是由于场景中的环境因素对红外光的干扰造成深度图像存在很多空洞点，让Kinect设备在对深度图质量要求较高的情况下实际体验很差。而且Kinect的红外接收相机和彩色相机的位置和分辨率均不同造成深度图像和彩色图像的位置及像素点不对应，虽然微软在Kinect SDK中提供了深度图到彩图的映射方法，但是实际上该方法是基于DIBR技术，由分辨率较小的图像投影到分辨率大的图像，势必会产生大量的空洞点，并且会引起重影和遮挡等问题。

发明内容

为了克服现有的深度图与彩图的映射方法的实时性较差、稳定性较差、准确性较差的不足，本发明提供一种实时性良好、稳定性良好、准确性较高的基于Kinect的实时深度图与彩图的配准及优化方法。

为此本发明采用以下技术方案，它包括以下步骤：

一种基于Kinect的实时深度图与彩图的配准及优化方法，所述方法包括以下步骤：

(1)利用Microsoft推出的应用程序编程接口Kinect SDK2.0来对Kinect设备进行连接；

(2)获取原始深度数据流和彩色数据流；

(3)利用背景帧填补深度图细小空洞；

(4)利用双向线性扫描轮询插值法填补深度图较大空洞；

(5)通过Kinect SDK2.0提供的函数MapDepthFrameToColorSpace获得深度图像和彩色图像的坐标映射关系m_pColorCoordinates；

(6)对映射表m_pColorCoordinates坐标异常部分处理；

(7)建立与彩图对准的深度图像color_depth；

(8)裁剪彩色图像和对准后的深度图像，减除深度相机和彩色相机拍摄区域不重合的区域，从而实现深度图像和彩色图像的完全对准。

进一步，在所述步骤(3)中，利用背景帧填补深度图细小空洞的方法如下：

3.1)背景帧生成：第一次读取的深度图像数据Dep₀作为背景帧图像数据背景帧的更新：公式如下

BacDep(x,y)＝Dep₀(x,y) Dep₀(x,y)>BacDep(x,y)+10时

其中BacDep(x,y)为背景帧各个像素点的深度数据，Dep₀(x,y)为当前深度图像的各像素点的深度数据；