[发明专利]基于图像序列的空洞填充方法

权利要求书

1.一种基于图像序列的空洞填充方法，其特征在于，包括以下步骤：

S1：根据三维图像变换前后的参考图像R_t和目标图像D_t，计算各对应像素点的视差矢量，得到视差图MV_D_tR_t；

S2：对目标图像D_t进行小空洞预处理，包括以下步骤：

S2.1对目标图像D_t进行中值滤波；

S2.2：按从左往右的顺序遍历视差图MV_D_tR_t，检测空洞，除图像边缘的空洞以外，当空洞的连续空洞点个数小于空洞长度阈值len，进入步骤S2.4，否则进入步骤S2.3；

S2.3：判断该空洞两端的像素点是否均为前景像素点，如果是，进入步骤S2.4，否则不作任何操作：

S2.4：对该空洞采用基于视差图的空洞填充方法进行填充；

S3：基于图像序列依次对剩余空洞进行填充，具体步骤包括：

S3.1：设置k＝1；

S3.2：根据图像序列中的参考图像R_t-k和参考图像R_t+k，得到目标图像D_t-k和目标图像D_t+k；

S3.3：将当前目标图像D_t的深度图，分别与目标图像D_t-k和D_t+k的深度图求差，得到两个深度差值矩阵，遍历深度差值矩阵，当深度差值大于0且小于预设阈值时，将目标图像D_t-k或D_t+k中的对应像素点的可用标记设置为1，否则设置为0；当目标图像D_t-k或D_t+k不存在时，直接将对应像素点的可用标记设置为0；

S3.4：按行遍历视差图MV_D_tR_t，如果检测到D_t(u,v)为空洞点，按以下方法进行填充：

Dt(u,v)=Dt+k(u,v),mt-k(u,v)=0,mt+k(u,v)=1Dt-k(u,v),mt-k(u,v)=1,mt+k(u,v)=0(Dt+k(u,v)+Dt-k(u,v))/2,mt-k(u,v)=1,mt+k(u,v)=10,mt-k(u,v)=0,mt+k(u,v)=0]]>

其中，D_t(u,v)表示目标图像D_t的中像素点(u,v)，D_t-k(u,v)表示目标图像D_t-k中的像素点(u,v)，m_t-k(u,v)表示目标图像D_t-k中像素点(u,v)的可用标记，D_t+k(u,v)表示目标图像D_t+k中的像素点(u,v)，m_t+k(u,v)表示目标图像D_t+k中像素点(u,v)的可用标记；

同时将目标图像中行方向上距离D_t(u,v)最近的背景像素点的视差值和深度值作为D_t(u,v)的视差值和深度值更新视差图和深度图；

S3.5：分别判断参考图像R_t-k、R_t+k与参考图像R_t相比，前景是否相对于背景发生运动，如果是，则将参考图像R_t-k或R_t+k记为图像R′，对目标图像D_t进行运动补偿后进入步骤S3.6，否则进入步骤S3.6，运动补偿的方法为：

遍历当前目标图像D_t的视差图，得到所有空洞的非空洞端点中为背景像素的端点集合，依次选择端点集合中的各个端点D_t(p,q)，通过视差值得到参考图像中的对应像素点R_t(p′,q′)，选取以像素点R_t(p′,q′+αn)为中心、边长为2n+1的图像块作为当前块，其中n为正整数，α为偏移方向指示，当端点D_t(p,q)为空洞的左端点，α＝-1，当端点D_t(p,q)为空洞的右端点，α＝1；在图像R′中搜索当前块的最佳匹配块，计算得到当前块至匹配块的运动矢量然后对目标图像D_t中以D_t(p,q-αn)为中心、边长为n的图像块中的空洞点进行填充，当D_t(p+i,q-αn+j)为空洞点，其中i、j的取值范围分别为-n≤i≤n、-n≤j≤n，图像R′中用于填充该空洞点的像素点为同时将目标图像中行方向上距离D_t(p+i,q-αn+j)最近的背景像素点的视差值和深度值作为像素点D_t(u,v)的视差值和深度值更新视差图和深度图；

S3.6：遍历视差图MV_D_tR_t，检测空洞，当空洞的连续空洞点个数小于空洞长度阈值len，采用基于视差图的空洞填充方法对该空洞进行填充，否则不作任何操作；

S3.7：判断是否k＝max(a,b)，其中a表示图像序列中参考图像R_t之前的可用图像数量，b表示图像序列中参考图像R_t之后的可用图像数量，如果是，进入步骤S4，否则令k＝k+1，返回步骤S3.2；

S4：采用图像修复方法对步骤S3得到的目标图像进行修复。

2.根据权利要求1所述的空洞填充方法，其特征在于，所述步骤S3.2中，还对得到的目标图像D_t-k和目标图像D_t+k采用步骤S2中的方法进行小空洞预处理。