[发明专利]精制深度图

说明书

相关申请的交叉引用

本申请享有于2008年8月20日提出的申请号为61/189,552、名称为“精制深度图”的美国临时申请的优先权，其内容在此被整体引述用于各种目的。

技术领域

本发明描述的实施例涉及编码系统。多个特定的实施例涉及精制深度图。

背景技术

目前普遍认为多视图视频编码是一项广泛应用于各个领域的关键技术，这些领域包括自由视点和三维视频应用、家庭娱乐设施和监视设施。另外，深度数据可以和每个视图相关联。深度数据通常是视图合成所必需的。多视图应用中，往往涉及到大量的视频和深度数据。因此，目前至少存在对框架结构的需求，这种框架结构有助于改进当前视频编码方案中独立视图同步播放过程中的编码效率。

多视图视频源包括同一场景的多个视图。因而，在多个视图影像之间往往存在很高的关联性。因此，除时间冗余之外还可以利用视图冗余。比如，可以通过跨越不同视图进行视图预测的方法来利用视图冗余。

实际上，三维视频系统可以编码部分视图，而其他视图将通过视图合成进行重构。当需要更高质量时，可以发送那些被跳过的视图的残留信号。此外，合成的图像可以在编码后续图像时用作参考。

发明内容

根据本发明的一个整体方面，访问一组图像中一个图像的深度信息。访问所述图像的修改的深度信息。确定一种精制图像，其基于深度信息和所述修改的深度信息之间的差异。提供所述精制图像和所述深度信息用于处理所述一组图像中的一个或多个图像。

根据另一个整体方面，访问一组图像中一个图像的深度信息。访问一个精制图像，其基于所述图像的深度信息和所述图像修改的深度信息之间的差异。确定所述图像修改的深度信息。通过所述修改的深度信息处理所述一组图像中的一个或多个图像。

本发明中结合附图及说明，提供了一个或多个实施例的详细说明。即使本发明中的实施例是通过一种具体的方式描述的，但这里必须清楚地指出所述实施例仍然可以由其他不同方式配置或体现。例如，一个实施例可以作为一种方法来实施；其也可体现为一种设备，例如，一种配置用于执行一组操作的装置或一种储存可执行一组操作指令的装置；其还可体现为一种信号。结合相应的附图和权利要求的详细描述，能够清楚地了解本发明的其他方面和特征。

附图说明

图1是一个编码器的实例示意图；

图2是一个解码器的实例示意图；

图3是一个视频发送系统的实例示意图；

图4是一个视频接收系统的实例示意图；

图5是一个视频处理设备的实例示意图；

图6是一个发送和接收带有深度信息的多视图视频的系统的实例示意图；

图7是一个用3个带有深度信息(K＝3)输入视图生成9个(N＝9)输出视图的框架结构的实例示意图；

图8是一个使用精制深度图创建一种虚拟参考视图的实例的示意图；

图9是一个编码过程的实例示意图；

图10是一个进一步阐释图9的步骤920和图12的步骤1210的示意图；

图11是一个使用精制深度图创建一种虚拟的参考视图的另一个实例的示意图；

图12是一个编码处理过程的实例示意图；

图13是一个解码处理过程的实例示意图；

图14是一个编码处理过程的实例示意图；

图15是一个解码处理过程的实例示意图；

图16是一个编码处理过程的实例示意图；

图17是一个解码处理过程的实例示意图；

图18是一个编码处理过程的实例示意图。

具体实施方式

通常，涉及本发明原理和至少一个实施例，需要理解的是，在某些情况下一个后续的视图可能通过把视图1扭曲(warp)到后续视图的位置来以视图1作为参考视图。这一扭曲通常需要或用到所述参考视图1的深度。大量的剩余使所述后续视图得以预测编码，并且我们可以精制视图1的深度从而得到更好的编码结果。这样的处理方法产生两个深度图(depth map，DM)。可以发送两个深度图，或者如本申请各种实施例所述，发送一个深度图和一个精制图像(refinement)。

一个深度图有助于编码，并且原始的深度图有助于所述解码器中的渲染(为观众合成一个虚拟视图)。编码深度图可用于生成附加参考视图(用于编码/解码)。渲染深度图可用于为用户生成附加的视图。这两种用途可能有不同的质量评估方法。例如，有助于编码的深度图可能会产生主观上看起来比较糟糕的视图。无论如何，发送两种深度图都是昂贵的。