[发明专利]一种可适应复杂场景的无畸变集成成像三维显示方法

说明书

本发明提出了一种适用于复杂场景下无畸变集成成像三维显示方法，该方法首先利用Kinect获取三维场景的彩色图像和深度图像，并针对深度图像与彩色图像边界不一致问题，结合边缘信息进行干扰消除；然后，进一步针对深度图像的黑洞区域提出联合三边滤波进行填充，并将联合三边滤波器中的值域滤波器进行自适应处理消除深度图像的伪影效应；最后利用光场数学模型得到复杂场景的基元图像阵列，实现无畸变的三维集成成像显示。本发明不仅可以有效克服记录复杂场景时微透镜阵列的物理局限性，而且可以实现对复杂场景的无畸变集成成像三维显示。

技术领域

本发明属于到计算机视觉技术领域，涉及一种可适应复杂场景的无畸变集成成像三维显示方法。

背景技术

集成成像技术作为下一代真三维立体显示技术的研究热点，拥有连续视角、全视差、无视觉疲劳且成像结构简单等优点。三维集成成像显示主要包括采集和重构两个过程。采集过程利用一组微透镜阵列对三维场景进行记录，微透镜阵列中每个微透镜从不同视角捕捉三维场景中的视差信息，生成一幅具有多视差信息的基元图像阵列。重构过程利用与采集时相同参数的微透镜阵列，根据光的可逆原理，将从基元图像阵列中透射出来的光线重新聚集，获得三维场景的重构图像。然而在传统光学采集过程中，因微透镜阵列的物理局限性，每个微透镜的低空间采样率和其微小尺寸也会产生一系列光学畸变，导致三维重构图像分辨率低，局部纹理信息失真等问题。

微软Kinect设备是近年来比较热门的一种有源深度传感器，其通过红外光源将光图像投射到三维空间中，利用红外摄像机接收反射光，经过内部处理后提取物体表面的几何变化计算深度信息。然而，基于Kinect获取的深度图像上存在着黑洞区域，这些区域的产生主要由于前景物体遮挡光路或者存在表面光滑或吸光材质的物体引起红外相机无法获取散斑图案所产生的。此外，还需克服深度图像还存在与彩色图像的边界不一致以及深度值连续的因素。

自Kinect问世以来，许多学者都对Kinect深度图像的修复技术进行了研究，2011年Matyunin等人利用帧间运动补偿和中值滤波对深度图像进行黑洞填充，但是没有考虑边界对齐并且当遇到大面积的黑洞区域时就会出现深度值修复错误的现象；2012年Loghman等人为了修正深度图像的边界对齐问题，将图像滤波与各向异性扩散上采样过程相结合，然而在上采样的过程中却没有能够克服深度值溢出边界的情况；同年Junyi Liu改善了Telea的快速行进算法，利用彩色图像作为引导信息进行黑洞填充，即将黑洞点周围的有效深度值插入黑洞点，但是该方法同样无法消除边界周围的干扰深度值，且修复后物体边缘存在伪影效应；Camplan在2012年利用高斯混合建模生成深度图像模型，然后利用自适应权重的联合双边滤波器交替迭代的修复深度图和更新深度图模型来获取降噪后的深度图像，但是对于大面积的黑洞区域无法完全修复。

发明内容

本发明采用Kinect获取高分辨率彩色图像和深度图像，利用光场数学模型合成复杂场景的基元图像阵列，最终实现无畸变集成成像的三维显示。

本发明采用的技术方案如下：

一种适用于复杂场景下无畸变集成成像三维显示方法，包括以下几个步骤：

步骤一，基于Kinect设备的深度图像和彩色图像的校准及裁剪。通过Kinect同步获取三维场景的深度图像和彩色图像，并同时使用红外补光照射标定板对Kinect进行标定，结合标定结果通过坐标变换，对深度图像与彩色图像进行对齐和裁剪。

步骤二，针对深度图像与彩色图像边界的干扰消除。通过对彩色图像和深度图像同时进行canny边缘检测，将两幅图像边缘之间非对齐的深度像素点全部置为黑洞(即将该点的灰度值设置为0)，得到一幅消除掉干扰后的深度图像。

步骤三，针对大面积黑洞区域的填充消除处理。在充分考虑了彩色图像中的空域信息，颜色信息以及结构相似度(SSIM)信息的基础上，提出了一个迭代联合三边滤波器。通过用这个滤波器对黑洞区域进行黑洞填充，来得到高质量的深度图像。