[发明专利]用于有伪像感知的视图合成的辅助数据

权利要求书

1.一种用于通过使用辅助数据来渲染二维输入视频图像的改善新视图的方法，所述辅助数据包括以可用的形状图像数据信息、部分遮挡数据和深度图形式的深度信息的形式的深度不连续性，所述方法包括以下步骤：

使用基于形状辅助贝叶斯双边滤波器的抠图方法从部分遮挡区域的输入视频图像中提取图像对象及其深度值，所述部分遮挡区域由所述辅助数据的形状图像数据相关联的标识符指定；

在提取每个对象之后，通过使用数据和孔洞以及与对象关联的深度图和形状图像数据信息修复缺失的数据或图像孔洞来更新图像背景，并通过滤波器来细化所述深度值；

使用所述部分遮挡数据来减少由于修复缺失数据或图像孔洞的有限性能所致的伪像；以及

使用在指定部分遮挡区域所提取的对象和所述背景来执行用于渲染的视图合成。

2.根据权利要求1所述的方法，其中所述辅助数据的形状图像数据信息提供用于校正的深度不连续性的位置。

3.根据权利要求2所述的方法，其中在灰度形状图像的情况中，所述形状图像数据信息提供在深度不连续性位置处的前景的近似量。

4.根据权利要求1所述的方法，其中所述部分遮挡数据和形状图像数据信息用于指示对于支持给定视点改变所需的解遮挡区域和缺失的信息。

5.根据权利要求1所述的方法，其中所述二维输入视频图像和辅助数据被传输，并且部分遮挡数据与图像数据、深度数据和抠图一起被包括，并且它们与形状信息、输入视频图像的深度值以及其它控制和调谐参数一起被封装以形成辅助数据并且辅助视图合成。

6.根据权利要求5所述的方法，其中所述二维输入视频图像和辅助数据在传输之前被压缩以便减小传输带宽。

7.根据权利要求1所述的方法，其中所述二维输入视频图像和辅助数据被存储，并且部分遮挡数据与图像数据、深度数据和抠图一起被包括，并且它们与形状信息、输入视频图像的深度值以及其它控制和调谐参数一起被封装以形成辅助数据并且辅助视图合成。

8.根据权利要求7所述的方法，其中所述二维输入视频图像和辅助数据在存储之前被压缩。

9.根据权利要求5所述的方法，其中所述辅助数据被嵌入在视频数据中以供传输。

10.根据权利要求5所述的方法，其中所述辅助数据作为分离的数据流被传输并且与视频数据同步。

11.根据权利要求1所述的方法，其中提取图像对象以及更新图像背景和细化深度值的步骤还包括按顺序的以下步骤：

从具有最小深度的图像对象开始，使用所述形状图像数据信息通过使用抠图来从背景中提取前景；

通过在所述部分遮挡数据的边界处抠图而在其余背景的解遮挡区域处填充图像数据；

在所述边界处盖写在其余背景中被部分遮挡数据覆盖的所有像素，从而消除在更新的背景的前景的痕迹；

根据需要提供附加图像来填充孔洞；

根据所述部分遮挡数据来更新背景的深度；

根据需要进行图像修补以填充由具有下一个最小深度的对象所限定的边界内的孔洞，直到所有对象都被处理为止；以及

对于具有最小深度的下一个对象重复所述步骤。

12.根据权利要求1所述的方法，其中将修复的对象重构为具有其自己的深度图的图像层中。

13.根据权利要求12所述的方法，其中层一个接一个地以其深度值的升序被渲染。

14.根据权利要求1所述的方法，其中利用适当解遮挡数据以特定次序对所提取的对象进行图像修补，并且使用伪像感知的视图合成算法来支持所述视频图像在常规2D、立体和自动立体显示器之一中的显示或渲染。