[发明专利]作为到视频序列的附加通道的深度代码化

说明书

相关申请的交叉引用

本申请要求于2009年11月23日提交的美国临时申请61/263,516的权益，其全部内容通过引用合并于此。

技术领域

本申请涉及诸如3D视频图像的视频图像中的深度代码化。

背景技术

3D再次变为吸引人的技术，并且这次，其获得来自内容提供商的支持。还具有3D能力的大多数新动画电影和很多影片将被发布并且可以广泛遍及全国在3D电影院中观看。而且，存在对体育事件的实时广播的多种测试，例如NBA和NFL比赛。为了使3D在平面屏幕中被察觉到，使用了立体影像，其模仿人类视觉系统并且分别显示由到左眼和右眼的立体摄像机捕捉的左眼视图和右眼视图。因此，其要求2D序列所要求的带宽的两倍。3D TV（3DTV）或3D视频（3DV）是使用立体影像将3D感知递送至观看者的应用。然而，因为仅在3DTV中递送用于每只眼睛的两个视图，所以用户不能改变由内容提供商固定的视点。

自由视点TV（FTV）是另一种3D应用，其使用户能够导航通过不同视点并且选择他们想要的观看那一个。为了使多个视点可用，多视图视频序列被传送至用户。实际上，如果邻近视图之间的距离满足用于立体影像的条件，则3DTV所要求的立体序列可以被认为是多视图视频序列的子集。因为数据的量根据视图的数目线性地增加，所以多视图视频图像需要被有效地压缩以用于广泛使用。

作为减少多视图视频序列的比特率的努力，JVT一直致力于多视图视频代码化（MVC）并且将其落定为对H.264/AVC的修改。在MVC中，使用用于较高代码化效率的时间和交叉视图相关性，对多视图视频序列进行编码，同时增加在时间上以及跨过视图两者的帧之间的依赖性。因此，当用户想要观看特定视图时，应当根据依赖性来解码不必要的视图。而且，当存在由相机视差导致的几何失真并且邻近视图之间的相关性很小时，MVC的压缩效率是不令人满意的。

发明内容

根据本发明的原理，本发明的装置可以包括：编码器，该编码器被配置成通过对视图数据和深度数据的组合集合编码来对视频数据编码。视图数据和深度数据的组合集合可以包括以下中的一个：RGBD、YUVD、或YCbCrD。视图数据和深度数据的组合集合可以包含在以下至少一个中：图片组、图片、片段、块组、宏块、或子宏块。该装置可以进一步包括：深度格式单元，该深度格式单元被配置成识别视频数据的深度格式。当深度格式被设置为0时，编码器可以选择将视频数据编码为不包括深度数据的多个二维图像，或者当深度格式被设置为预定级别时，编码器可以选择将视频数据编码为视图数据和深度数据的组合集合。编码器可以进一步包括：代码化成本计算器，该代码化成本计算器确定所述视图数据和深度数据的组合集合的联合编码和所述视图数据和深度数据的组合集合的单独编码的代码化成本，并且基于所述代码化成本来在联合编码和单独编码之间确定编码模式。当编码成本小于对视图数据和深度数据单独编码的编码成本时，编码器可以将视频数据编码为视图数据和深度数据的联合编码。视频数据可以是以下中的一个：具有深度的多视图、没有深度的多视图、具有深度的单视图、没有深度的单视图。

根据本发明的原理，对视频数据编码的方法可以包括：在编码器处通过对视图数据和深度数据的组合集合编码来对视频数据编码。视图数据和深度数据的组合集合可以包括以下中的一个：RGBD、YUVD、或YCbCrD。视图数据和深度数据的组合集合包含在以下至少一个中：图片组、图片、片段、块组、宏块、或子宏块。该方法可以进一步包括：识别视频数据的深度格式。当深度格式被设置为0时，视频数据可以被编码为不包括深度数据的多个二维图像。当深度格式被设置为预定级别时，视频数据可以被编码为视图数据和深度数据的组合集合。该方法可以进一步包括：确定对所述视图数据和深度数据的组合集合联合编码和对所述视图数据和深度数据的组合集合单独编码的代码化成本，以及基于所述代码化成本来在联合编码和单独编码之间确定编码模式。当编码成本小于对视图数据和深度数据单独编码的编码成本时，视频数据可以被编码为视图数据和深度数据的联合编码。视频数据可以是以下中的一个：具有深度的多视图、没有深度的多视图、具有深度的单视图、没有深度的单视图。