[发明专利]深度与彩色视频边界不一致的检测和处理方法

说明书

技术领域

本发明属于3D视频编码领域，涉及一种彩色视频协助的深度视频编码中基于彩色视频边界进行的深度视频边界不一致的检测和处理方法。

背景技术

多视点加深度视频能够利用基于深度的视点合成技术生成任意位置的虚拟视点，类似于在生成位置用虚拟相机采集图像。该格式由多个视点的彩色视频和深度视频组成，其中彩色视频记录场景的彩色信息，深度视频记录场景的深度信息。深度视频可以表示场景的几何结构以及视点间的几何关系。结合相机配置参数，在采集相机位置获得的视频可以映射至虚拟视点位置，形成虚拟视点图像。

现有的深度图获取方式主要分为三种：基于多视点视频的立体匹配；深度相机采集；基于单一彩色视频的深度生成。由于深度相机价格昂贵，而基于单一彩色视频技术获得的深度图质量较差，因此目前最常用的方法是基于多视点视频的立体匹配算法。但该算法在纹理平滑区域由于缺少匹配特征导致产生的深度图质量较差，且在物体边缘，由于遮挡问题，在生成深度图中，深度图边界不能与彩色图边界完全一致，即存在深度图与彩色图之间的边界不一致。

在彩色视频协助的深度视频编码中，彩色视频与深度视频之间的边界不一致导致预测之后在边界不一致位置产生较大的预测残差，严重降低编码效率。同时，由于深度视频用于在解码端进行视点合成而不是直接显示，深度视频的质量应该由生成虚拟视点视频的质量决定，而虚拟视点生成过程为利用深度视频投影参考视点的彩色信息至虚拟视点位置，深度视频与彩色视频的边界不一致将严重影响虚拟视点合成质量，为此彩色视频与深度视频之间的边界不一致需要在虚拟视点生成之前进行处理。

目前存在部分针对彩色视频与深度视频之间边界不一致的虚拟视点合成算法，如Cheon Lee等人提出的边界去噪算法，在合成虚拟视点视频中对物体边界部分进行检测并对可疑噪声进行去除；如Yin Zhao等人提出的在虚拟视点合成之前对彩色视频与深度视频之间边界不一致进行处理，并对可疑过渡部分进行抑制映射。

在基于彩色视频的深度视频编码过程中，在彩色视频与深度视频之间边界不一致位置的像素在预测后会产生较大的预测残差，经过DCT变换之后，在频域产生大量的高频分量，严重降低了编码效率。为了减少由彩色视频与深度视频之间边界不一致位置的像素带来的编码问题以提高编码效率，并提高解码端虚拟视点视频生成质量。本发明提供一种基于彩色视频边界的深度视频边界不一致的检测和处理的方法，该方法在基于块级的预测编码过程中，利用基于彩色视频和深度视频的结构相似性获得的当前块的深度预测值对深度视频当前块的边界不一致像素进行检测与处理。

发明内容

本发明的目的在于提供一种深度与彩色视频边界不一致的检测和处理方法来提高多视点加深度视频的编码效率及虚拟视点合成质量。

本发明的目的通过如下步骤实现：

S1、确定深度视频和彩色视频之间出现边界不一致的区域，即以深度图中检测的物体边界为中心扩充H个像素的区域为深度视频和彩色视频之间出现边界不一致的区域Ω，其中，2≤H≤3；

S2、检测深度视频与彩色视频之间的边界不一致像素，包括：

S21、找出S1所述区域Ω内边界不一致的可能像素：计算Ω中的像素O_i与用于编码预测的可能深度值P的绝对差D，即D＝|O_i-P|，当D＜T时，则O_i为可能的不一致像素，继续进行下一步的边界不一致检测，当D≥T时，此时该像素为周围邻域中没有出现的新物体，不进行继续检测，其中，P属于已编码深度值的集合；

S22、检测深度视频与彩色视频之间的边界不一致像素，包括：

S221、搜索并记录当前待检测区域所在块中Ω之外的残差绝对值的最大值，记作当前块的残差最大幅度R_max；

S222、判断当前检测像素是否为边界不一致像素，当当前检测像素的残差绝对值远大于该像素所在块的残差最大幅度时，该像素的原始值错误，为边界不一致像素：

若R_i-R_max＞T₁，则当前检测像素为边界不一致像素，

若R_i-R_max≤T₁，则当前检测像素不为边界不一致像素，

其中，T₁为阈值，T₁＞0，R_i为当前检测像素的残差绝对值；

S3、对S2所述边界不一致像素在熵编码前进行处理，包括：