[发明专利]一种DIBR目标图像空洞填充修复处理方法

说明书

技术领域

本发明涉及3D视频技术和基于深度图像绘制技术领域，尤其涉及一种DIBR目标图像空洞填充修复处理方法。

背景技术

基于深度图像绘制技术（Depth-Image-Based Rendering，简称DIBR）是一种根据参考图像（称为reference image）及其对应的深度图像（称为depth image）来生成新的左、右视点图像（即目标图像）的图像处理技术。与传统的需要传递左右眼两路视频图像的实现3D视频的技术相比，采用DIBR技术仅需要传送一路视频及其深度图像就可生成立体图像对，而且可以很方便的实现二维和三维的切换正因为如此，DIBR技术在3D电视立体图像对（称为stereo pair）的生成中得到了广泛应用，它也引起了人们愈来愈浓厚的兴趣。

在3D电视处理系统中，将原始视频的图像作为参考图像，利用DIBR技术生成对应的左视图像和右视图像（为描述方便，本文将利用DIBR技术生成的左视图像和右视图像统称为DIBR目标图像）时，有可能产生大的空洞（称为holes）。空洞是因为视点变化而产生的。由于视点变化导致场景中物体前后遮挡关系发生了变化，原来不可见的物体变得可见，物体表面也会发生缩放，因而会产生空洞。特别是再深度基线较长时，DIBR目标图像中会产生很大的空洞。因此，在获得DIBR目标图像后，往往还需要对DIBR目标图像进行空洞填充处理，以对其进行修复。

由于DIBR目标图像的空洞有其固有的特点：①、空洞数目比较多；②、通常前背景之间的空洞尺寸较大，且一般前景物体信息比背景物体的信息要更完整，即大部分空洞需要用背景像素来填充。所以一般的图像修复算法难以很好的对DIBR目标图像的空洞处理得到较好的修复效果。

我国专利ZL200810105346.2公开了“一种基于深度图的快速图像绘制方法”，其采用了背景优先填充的思想，但是，当空洞两边都为前景且空洞本应该为背景像素时，这种填充算法就会失效，因此岂不具备普遍适用性。2009年，Kwan-Jung Oh等人从后处理的角度提出了基于深度的图像修复技术来进行空洞填充（参见文献“Kwan-Jung,O.,Y.Sehoon,H.Yo-Sung.Hole filling method using depth based in-painting for view synthesis in free viewpoint television and3D video,in2009Picture Coding Symposium(PCS),2009.p.1-4”）。张倩等人则采用深度预处理图像和图像修复后处理相结合的方法来填充空洞（参见文献“张倩,刘苏醒,鞠芹,安平,张兆杨.采用图像修复的基于深度图像复制.光电子.激光,2009(10)”）。骆凯、Chang等人采用形态学处理深度图（参见文献“骆凯,李东晓,冯雅美,张明.基于DIBR和图像修复的任意视点绘制.中国图象图形学报,2010(03):p.443-449”以及文献“Chang,K.-M.,T.-C.Lin,Y.-M.Huang,Ieee,Parallax-Guided Disocclusion Inpainting for3D View Synthesis.2012Ieee International Conference on Consumer Electronics.2012.398-399”），Daribo等人对深度图像进行高斯滤波（参见文献“Daribo,I.,B.Pesquet-Popescu.Depth-aided image inpainting for novel view synthesis.2010:IEEE.p.167-170”），他们在Criminisi图像修复方法（参见文献“Criminisi,A.,P.Perez,K.Toyama.Object removal by exemplar-based inpainting.in Computer Vision and Pattern Recognition,2003.Proceedings.2003IEEE Computer Society Conference on.2003.p.II-721-II-728vol.2”）的基础上引入深度或视差信息，以减少深度或视差不匹配引起的伪像，但在前景边缘仍会出现伪像。为进一步减少或消除前景边缘的伪像，Gautier等人在优先级的计算方法上大有改进，采用张量来计算优先级以增强算法的鲁棒性，在修复左视图时，促使纹理从左向右传播，修复右视图则相反（参见文献“Gautier,J.,O.Le Meur,C.Guillemot.Depth-based image completion for view synthesis.in5th3DTV Conference:The True Vision-Capture,Transmission and Display of3D Video,3DTV-CON2011,May16,2011-May18,2011.2011.Antalya,Turkey:IEEE Computer Society.p.1-4”），由此在一定程度上可以减少前景边缘的伪像，但位于图像边缘的空洞不一定满足其规定的传播方向，因此其对图像边缘的空洞得不到较好的修复效果。Wu、Wang 等人提出将前背景分开处理的思想（参见文献“Wu,H.,J.Feng,H.Zhang,Q.Lv.A Virtual View Synthesis Algorithm Based on Image Inpainting.in Networking and Distributed Computing(ICNDC),2012Third International Conference on.2012.p.153-156”以及文献“Wang,K.,P.An,H.Cheng,H.J.Li,Z.Y.Zhang,A New Method of DIBR Based on Background Inpainting,in Advances on Digital Television and Wireless Multimedia Communications,W.J.Zhang,X.K.Yang,Z.X.Xu,P.An,Q.Z.Liu,and Y.Lu,Editors.2012,Springer-Verlag Berlin:Berlin.p.478-484”），可以很好的消除前景边缘的伪像。如Wu等人用分水岭算法在深度图上分割前背景，但分水岭算法容易出现过分割，且需要迭代来合并分割成的各个块，时间复杂度较高；Wang等人则针对背景静止的图像，通过帧差来建立一个背景库，但这样需要借助其它多帧彩色图像来建立背景库，技术难度较大，实用性不强。