[发明专利]一种基于深度值非线性变换的虚拟视点绘制方法

说明书

技术领域

本发明涉及的是一种视频图像处理技术领域的方法，具体是一种基于深度值非线性变换的虚拟视点绘制方法。

背景技术

虚拟视点绘制技术从一系列参考图像出发，进而生成新视点图像。其中基于深度图像的绘制（Depth Image Based Rendering, DIBR）是一种利用彩色图像及其对应的深度图像生成新视点图像的方法，在虚拟实现领域，医学图像处理领域和军事领域中均有着广泛的应用。DIBR技术的核心是三维图像变换（3D Image Warping）方程，其原理是根据参考图像中与各像素点对应的深度信息，将参考图像上的像素点映射到目标图像上。但是由于在映射的过程中，物体间的遮挡关系会发生一定的变化，所以不可避免的会在目标图像上会出现一些空洞。空洞的出现严重影响了用户的观看体验。如何减少，甚至消除这些空洞是DIBR技术亟需解决的关键问题。目前消除空洞主要有两种解决方案，第一种是对深度图进行预处理，从而减少目标图像中产生空洞的可能性。第二种是选择在目标图像中直接对空洞进行填补。近些年来，随着DIBR技术的进一步发展，出现了大量消除目标图像中空洞的技术。

经过对现有技术文献的检索，C. Fehn于2004年在《SPIE Stereoscopic Displays and Virtual Reality Systems （SPIE立体显示与虚拟实现系统）》上发表的“Depth-image-based rendering (DIBR), compression and transmission for a new approach on 3DTV （DIBR                                                立体电视系统压缩和传输的新方法）”中提出了利用DIBR技术生成虚拟视点的方法。该技术成功地将DIBR技术应用于立体电视系统。通过将三维图像变换方程（3D Image Warping Equation）与移轴算法（Shift Sensor Algorithm）相结合，可以根据用户的需要生成任意角度的虚拟视点。该技术选择利用高斯低通滤波器对整幅深度图进行预处理，并且采用线性插值算法对目标图像中的空洞进行填补。虽然能够在一定程度上减少空洞的产生，但是会导致目标图像中物体出现几何形变，严重影响用户的观看体验。

又经检索发现，Young Kyung Park等于2009年在《Signal Processing Elsevier （信号处理）》上发表的“Depth-image-based rendering for 3DTV service over T-DMB”（基于T-DMB立体电视服务的DIBR技术）中提出了将深度图的空间信息引入到预处理滤波器的方法。该方法使深度图依次通过两个不同的滤波器，从而完成整个预处理过程。第一个滤波器，在平滑深度图中连续区域的同时，消除深度图中的噪声信息；第二个滤波器，则通过在平滑模板中引入深度图的梯度信息，从而有效地平滑可能产生空洞的区域。但是由于两个滤波器都需要对深度图进行多次迭代处理，所以计算量大，时间复杂度偏高。

发明内容

本发明的目的在于克服现有技术中的上述不足，提出一种基于深度值非线性变换的虚拟视点绘制方法，该方法考虑人眼视觉特性，以非线性的方式建立深度图中像素点的深度值与实际深度距离的映射关系，从而有效地消除目标图像中的空洞，而且计算复杂度低，可广泛应用于虚拟实现领域，医学图像处理领域以及军事领域。

本发明是通过以下技术方案实现的，本发明首先建立基于深度图像物体边缘信息的滤波器，该滤波器由边缘保持滤波器和非对称的高斯平滑滤波器串联组成，其中采用边缘滤波器迭代处理深度图，不仅能够消除噪声信息，还能够通过平滑物体内部的连续区域，减少目标图像中物体内部出现空洞的可能性；采用非对称的高斯平滑滤波器处理深度图处理物体边缘，在平滑水平梯度的同时，避免在竖直方向产生几何形变。再考虑了人眼视觉特性的因素后，将深度图像素点的灰度值与空间实际距离进行非线性映射，能够有效较少目标图像背景中所出现的空洞，增强用户的立体观赏效果。最后，对目标图像中出现的空洞进行填补，从而消除目标图像中的所有空洞。

本发明具体包括以下步骤：