[发明专利]用于有伪像感知的视图合成的辅助数据

说明书

原始或经压缩的辅助数据，可能地包括以形状图像、部分遮挡数据、相关联的调谐和控制参数以及原始（多个）视频的深度信息的形式的主要深度不连续性，用于促进具有减少的伪像的常规2D、3D（立体）和多视图或自动立体显示器中的常规2D、立体、和多视图视频的新视图（视图合成）的交互式显示和生成。部分或全遮挡数据包括可能被部分遮挡的区域的图像、深度和不透明数据，用以促进所合成的视图中的伪像的减少。一种高效方法用于在如由来自纹理视频的辅助数据所限定的被部分遮挡的区处提取对象用以促进具有减少的伪像的视图合成。此外，一种用于更新图像背景和深度值的方法在提取了每个对象之后使用辅助数据，用以减少由于在视图合成期间缺失的数据或孔洞的在线图像修补的有限性能所致的伪像。

对有关专利申请的交叉引用

本申请要求2015年11月9日提交的、申请号为62/285,825的美国临时申请的权益，所述美国临时申请通过引用以其全部被并入本文中。

技术领域

本发明涉及基于二维纹理图像、以及辅助数据的对三维图像的经改进的渲染。

背景技术

大多数现今的可视内容仍是以二维（2D）图像或视频的形式，所述二维图像或视频以2D图像序列的形式。通常，除了仅仅放大/缩放或简单的移位之外，这些常规图像和视频不支持观察者的有利情况或视点中的改变。然而，新的显示技术正变得更加可用，其提供立体或三维（3D）图像。这些一般利用主动式快门或被动式偏振眼镜来实现。

而且，不需要眼镜的更新近的高分辨率自动立体（autostereoscopic）显示器正变得更加可用。对这样的自动立体显示器的输入典型地是：i)视频图像加上深度图（depthmap），所述深度图描述视频中每个像素的深度，或ii)邻近视点处的视频集合，有时被称为多视图视频，其中邻近的视图以某种格式被多路复用到图像帧上。自动立体显示器的柱状透镜（lenticular lens） 或视差屏障执行空间滤波，使得某个观看位置处的用户将能够相应地在他/她的左眼和右眼中看到两个不同的图像，因而产生了3D感知。

为了在3D显示器中显示常规的2D图像或视频，需要生成场景的另一视图。另一方面，自动立体显示器上的3D视频的显示需要生成深度图或创建将被多路复用成期望的帧格式的适当的多视图视频。

用于促进生成这些附加视图的一种方法是利用对应的深度图或其近似的版本来增强视频。深度图是记录可观察的场景点距相机的光学点的距离的图像（或如果以规律的时间间隔拍摄的话则是视频）。它们向在相同位置处拍摄的彩色图像或视频中的相关联的彩色像素提供附加的信息，这通过指定所述像素在场景中的深度。深度图的一个应用是根据彩色图像或视频（也被称为纹理）而合成场景的新视图。还可以在邻近的空间位置处取得深度图以形成多视图深度图像或视频。连同纹理或彩色视频一起，可以合成在成像位置周围的新的虚拟视图。参见S.C. Chan等人的“Image-based rendering and synthesis”（IEEE信号处理杂志，卷24，pp. 22-33（2007）），以及S.C. Chan和Z.F. Gan等人的“Anobject-based approach to image-based synthesis and processing for 3-D andmultiview televisions”（IEEE会报，电路系统视频技术，卷19，no.6，pp.821-831（2009年6月）），这些通过引用以其全部被并入本文中。这些合成的视图，如果被适当地生成的话，可以支持常规2D、立体或自动立体显示器中的内容的显示，并且提供有限的视点改变。