[发明专利]用于编码3D视频信号的方法和系统，用于编码3D视频信号的编码器，编码的3D视频信号，用于解码3D视频信号的方法和系统，用于解码3D视频信号的解码器

说明书

技术领域

本发明涉及视频编码和解码的领域。本发明提出用于编码3D视频信号的方法、系统和编码器。本发明还涉及用于解码3D视频信号的方法、系统和解码器。本发明还涉及编码的3D视频信号。

背景技术

最近，人们对在3D图像显示器上提供3D图像非常感兴趣。人们相信，在彩色成像之后，3D成像将在成像方面成为下一个伟大创新。我们现在正处在针对消费者市场引入3D显示器来临之际。

3D显示设备通常具有显示屏，图像在显示屏上显示。

基本上，三维印象可以通过使用立体像对（即导向观看者的两个眼睛的两个略有不同的图像）来创建。

存在若干种产生立体图像的方式。所述图像可以在2D显示器上被时间复用，但是这需要观看者佩戴具有例如LCD快门的眼镜。当立体图像同时显示时，可以通过使用头部安装的显示器、通过使用偏振的眼镜（随后利用正交偏振的光产生所述图像）或通过使用快门眼镜将所述图像导向适当的眼睛。观察者佩戴的眼镜有效地将相应的左或右视图发送（route）到相应的眼睛。眼镜中的快门或偏振器与帧频同步以控制所述发送。为了防止闪烁，相对于二维等效图像，帧频必须加倍或分辨率必须减半。这种系统的缺点在于，必须佩戴眼镜以产生任何效果。这对于不习惯佩戴眼镜的那些观察者而言是令人不愉快的，并且这对于那些已经佩戴眼镜的观察者而言是一个潜在的问题，因为附加的一副眼镜不总是合适的。

取代在观看者的眼睛附近，所述图像也可以在显示屏处借助分屏幕（比如从US 6118584已知的透镜状屏幕或如在US 5,969,850中示出的视差屏障）而被分离。这样的设备被称为自动立体显示器，因为它们在没有使用眼镜的情况下提供（自动）立体效果。已知若干不同类型的自动立体设备。

无论使用什么类型的显示器，3D图像信息都必须被提供给显示设备。这通常以包括数字数据的视频信号的形式进行的。

由于数字成像中固有的大量数据，数字图像信号的处理和/或传输构成重大问题。在许多情况中，可获得的处理能力和/或传输容量不足以处理和/或传输高质量的视频信号。更具体地，每个数字图像帧是从像素的阵列形成的静止图像。

原始数字信息的量通常是大量的，需要大处理能力和/或大传输速率，这些不总是可获得的。已经提出了减少待传输的数据量的各种压缩方法，包括例如MPEG-2、MPEG-4和H.264。

这些压缩方法最初是针对标准的2D视频/图像序列而制定的。

当内容被显示在自动立体3D显示器上时，必须再现多个视图并且沿不同方向发送这些视图。观看者的眼睛上将有不同的图像并且这些图像被再现使得该观看者感知到深度。这些不同的视图代表不同的观看角度。然而，在输入数据上通常仅一个观看角度是可见的。因此，这些再现的视图将在例如前景对象之后的区域中具有遗漏信息或在对象侧面上具有遗漏信息。存在处理该遗漏信息的不同方法。一种方法是加入来自不同角度的附加的视点（包括对应的深度信息），根据附加的视点可以再现其间的视图。然而，这将大大增加数据的量。而且在复杂的图片中，需要超过一个的附加的视角，从而再次增加了数据量。另一个解决方案是将数据以代表隐藏在前景对象之后的3D图像的部分的遮挡数据的形式加入到图像。该背景信息是从相同的或还有侧视角存储的。所有这些方法需要附加的信息，其中针对所述信息的分层结构是最高效的。

如果在3D图像中许多对象被定位在彼此之后，则可能存在许多不同的其他层的其他信息。其他层的量能够显著增长，从而增加了待生成的大量的数据。其他数据层可以是各种类型的，所有这些类型在本发明的框架内被表示为其他层。在简单的布置中，所有对象是不透明的。背景对象随后被隐藏在前景对象之后并且各种背景数据层可能是重构3D图像所必需的。为了提供所有信息，构成3D图像的各种层信息必须是已知的。而且优选地还将各背景层中的每一层与深度层关联。这创建了一种其他类型的其他数据层。一个更复杂的步骤是其中一个或多个对象是透明的情形。为了重构3D图像，于是需要颜色数据以及深度数据，而且具有用于构成3D图像的各种层的透明度数据。这将允许其中一些或所有对象是透明的3D图像被重构。而一个步骤进一步将是赋予各种对象透明度数据，可选地也是角度相关的。对于一些对象，透明度依赖于我们注视对象的角度，因为在直角处对象的透明度通常比在斜角处更大。供给这种其他数据的一种方式是供给厚度数据。这将加入另外的其他数据的另外的其他层。在高度复杂的实施例中，透明的对象将具有透镜化效果，并且给出透镜化效果数据的数据层将归因于每个层。反射效果，例如镜面反射率形成又一个数据集。

数据的另外的其他附加层可以是来自侧视图的数据。