[发明专利]三维图像空洞填充方法

说明书

技术领域

本发明属于三维图像变换技术领域，更为具体地讲，涉及一种三维图像空洞填充方法。

背景技术

基于深度图像绘制(Depth Image Based Rendering,DIBR)技术根据参考图像(Reference Image)及其对应的深度图像(Depth Image)来生成一幅新视点图像，即目标图像。与传统的需要传递左右眼两路视频的3D视频相比，采用DIBR技术之后仅需要传送一路视频及其深度图像就可生成立体图像对，而且可以很方便的实现二维和三维的切换。正因为如此，DIBR技术在3D电视立体图像对(Stereo Pair)的生成中得到了广泛应用。

通常，人们把需要采用DIBR技术的3D视频称为基于深度图像的3D视频(Depth Image Based3D video)。DIBR技术可以很容易的由一幅参考图像、深度图像以及摄像机的标定参数(Calibration Parameter)来生成目标图像，避免了由传统视图生成方法所带来的计算复杂性。目前基于DIBR的视图合成算法多数采用的流程是：深度图像预处理(Pre-Processing of Depth Image)、三维图像变换(3D Image Warping)、空洞填充(Hole Filling)。要实现3D电视的可编辑功能，必须采用视图合成技术实现3D内容的实时改变。

目前的三维图像变换方法有很大的局限性：处理的元素是像素点，只能将参考图像的像素点的位置信息映射到目标图像；而参考图像的其它信息，例如运动矢量/运动矢量场、Delaunay三角剖分结构、多尺度几何分析结果(如Bandlets变换结果)都无法映射到目标图像，从而无法利用这些信息来进行空洞填充。

现有的空洞填充方法一般分为两大类：基于空域的空洞填充和基于时空结合的空洞填充算法。其中，基于空域的空洞填充算法缺乏空洞区域的场景信息，用来填充的像素不是真实场景的像素，而是通过一定的规则模拟出来的，填充后会降低图像的逼真度；而基于时空结合的空洞填充算法虽然可以利用更多的场景信息，用多个视点的参考图像来绘制虚拟视点的视图，从而得到较好的目标图像，但需要较高的带宽来传输多路视频信息。迭代算法时间复杂度高，不利于硬件实现。

发明内容

本发明的目的在于克服现有技术的不足，提供一种三维图像空洞填充方法，利用图像序列中其他图像的信息，对三维图像变换后的空洞进行填充，从而获得更好的填充效果。

为实现上述发明目的，本发明三维图像空洞填充方法，包括以下步骤：

S1：根据参考图像序列中的第k帧参考图像及其深度图，通过三维图像变换得到目标图像及其深度图；

S2：选取用于空洞填充的第k′帧参考图像；

S3：依次对第k帧目标图像的各个空洞进行填充，填充方法为：

S3.1：当第k帧目标图像为右视图，则选取空洞右边缘的非空洞像素点，当第k帧目标图像为左视图，则选取空洞左边缘的非空洞像素点，将该像素点记为(u,v)，运用逆三维图像变换得到第k帧参考图像中的对应像素点(u′,v′)；

S3.2：在第k帧参考图像中以像素点(u′,v′)为中心，选取大小为N×N的块作为当前块，其中N＝2n+1，n为正整数；

S3.3：在第k′帧参考图像中以像素点(u′,v′)为中心，在大小为M×M的搜索窗中搜索得到最佳匹配块，其中M＞N，最佳匹配块的中心像素点记为

S3.4：当第k帧目标图像中的像素点(u+i,v+j)为空洞点时，将第k′帧参考图像中的像素点及其深度值复制到该空洞点，其中i、j的取值范围分别为-n≤i≤n、-n≤j≤n。

本发明还提供另外一种利用其他帧目标图像的三维图像空洞填充方法，包括以下步骤：

S1：根据参考图像序列中的第k帧参考图像及其深度图，通过三维图像变换得到目标图像及其深度图；

S2：选取用于空洞填充的第k′帧参考图像，根据该参考图像及其深度图，同样通过三维图像变换得到目标图像及其深度图；

S3：依次对第k帧目标图像的各个空洞进行填充，填充方法为：

S3.1：当第k帧目标图像为右视图，则选取空洞右边缘的非空洞像素点，当第k帧目标图像为左视图，则选取空洞左边缘的非空洞像素点，将该像素点记为(u,v)，运用逆三维图像变换得到第k帧参考图像中的对应像素点(u′,v′)；

S3.2：在第k帧参考图像中以像素点(u′,v′)为中心，选取大小为N×N的块作为当前块，其中N＝2n+1，n为正整数；