[发明专利]一种基于视差图的空洞填充装置

说明书

技术领域

本发明属于基于深度图像绘制（Depth-Image-Based Rendering，简称DIBR）技术领域，更为具体地讲，涉及一种基于视差图的空洞填充装置。

背景技术

近年来的热播3D电影，给人类视觉带来了强烈冲击，促进了3D产业的发展。目前虽开通了3D频道，但3D影视资源依然匮乏，2D/3D技术仍有其广泛的应用市场。

基于深度图像绘制(Depth-Image-Based Rendering，简称DIBR)技术根据参考图像(reference image)及其对应的深度图像(depth image)来生成新视点图像(目标图像)。与传统的需要传递左右眼两路视频的3D视频相比，采用DIBR技术之后仅需要传送一路视频及其深度图像就可生成立体图像对，而且可以很方便的实现二维和三维的切换，正因为如此，DIBR技术在3D电视立体图像对(stereo pair)的生成中得到了广泛应用，它也引起了人们愈来愈浓厚的兴趣。

采用DIBR技术来生成目标图像时，由于视点的改变，参考图像中不可能包含目标图像中的全部信息，从而产生空洞（holes），空洞严重影响了目标视图的质量，成为最主要也是最难解决的问题。

在本申请人申请的、2012年01月04日公布的、公布号为102307312A、名称为“一种对DIBR技术生成的目标图像进行空洞填充的方法”的中国发明专利公布中，提出了一种基于视差图的空洞填充算法。

1、视差图

视差图M表示的是目标图像（Destination Image）相对参考图像（Reference Image）的平移。

为避免视觉疲劳（Visual Fatigue），在形成目标图像时通常采用平行摄像机设置（Parallel Camera Configuration）。在该设置下，目标图像和参考图像上的点在垂直方向的位置不变，仅在水平方向有平移，称该平移被称为视差值，视差值是视差图上像素点的值，其定义如下

M(u_des,v)＝u_des-u_ref(1)

其中(u_des,v),(u_ref,v)分别表示目标图像上的点和其参考图像上的对应的匹配点，M(u_des,v)表示目标图像上对应点的视差值。只需确定目标图像上的点的坐标(u_des,v)和对应点的视差值M(u_des,v)，就可以找到参考图像上的点(u_ref，v)，从而视差图建立了目标图像和参考图像的桥梁式，公式（1）定义了非空洞点的视差值，当目标图像对应点为空洞点时，在参考图像上找不到与之对应的匹配点，从而无法确定u_ref，为便于表示，将空洞点对应的视差值的定为-128（考虑到视觉舒适度，非空点的视差不能取到-128)。

2、空洞填充算法

由于视点的改变，深度图像的不连续等，参考图像里不包含目标图像里所需的全部信息，因而三维图像变换后生成的目标图像里将出现空洞，如图1所示。

从图1中可以看出，目标图像中存在较大空洞和较小空洞，较小空洞可以用滤波（中值滤波，或均值滤波）或插值的方法来填充，但较大空洞无法用滤波去除，且用插值的方法不能取得较好的效果。

基于视差图的空洞填充方法不需要预处理深度图，从而能够保持非空洞区域的真实性。该方法的核心思想是用较大空洞邻域的背景像素来填充该较大空洞，其实质是使参考图像中的背景像素点平移与其前景像素点一样的距离。

基于视差图的空洞填充方法的难点在于如何找到较大空洞区域对应的背景像素点。由于视差图M表示目标图像相对参考图像的平移，通过目标图像以及对应的视差图便可以找到参考图像上对应的匹配点，因此只需修改视差图M上的视差值便可以通过逆向映射来填充空洞。

除边缘空洞外，若目标图像在参考图像的左边（下文都以左视图代替），较大空洞出现在前景物体的左边，若目标图像在参考图像的右边（下文都以右视图代替），较大空洞出现在前景物体的右边。从而，对于左（右）视图来说，只需将较大空洞对应的视差值修改成离该空洞右（左）边缘最近的前景像素点对应的视差值便可。左（右）视图的较小空洞对应的视差值用空洞左（右）边缘非空像素点对应的视差值来代替。

基于视差图的空洞填充方法如图2所示。

第一步：标记空洞。区分大空洞和小空洞，以便于后续处理。