[发明专利]用于生成和重建立体兼容视频流的方法及相关的编码和解码设备

说明书

本发明涉及一种用于生成数字立体视频流的方法，即，当在可视化设备中适当处理时，产生被观看者感知为三维的图像序列的视频流。

此类方法还允许具有常规(非立体)解码器和电视机的用户以2D显示所述图像。

本发明进一步涉及用于以数字格式编码和解码立体视频流的编码设备和解码设备。

近年来，在凭借新数字技术而使得可用的新生产工具的刺激下，电影制作界对立体三维(3D)内容的制作极度关注并且投入巨大的资源。

现在，对3D的兴趣延伸到家庭使用，即，用于在电视机上显示图像。例如，一些付费电视运营商不久将广播3D节目。

呈现立体视频内容的最常见方式涉及分别显示旨在用于右眼和用于左眼的两个独立视频流，然后，由人脑将它们重组成三维对象。

用于家庭使用的立体内容通常为高清晰度视频内容，并且在大容量存储介质(DVD或蓝光盘，磁光或固态介质等)上或经由(有线或无线)广播通道或经由电信网络(IP)分发。

然而，在制作环境中，利用现有的结构，独立传送和处理由从两个不同视点拍摄场景的立体摄像机生成的两个流可能是不可能的。

此外，到达最终用户的分发网络如此之大以至于使用两个独立的高清晰流来提供单个业务是不经济的。因此，为了减少内容传送和实现所需要的比特率，在制作过程期间必须采用多种措施。

由于对在二维和三维图像的细节感知差异执行的研究的结果似乎指示，甚至当立体内容的分辨率相比于二维内容的分辨率降低时，用户感知的质量仍然是可接受的，已经开发用于将组成立体视觉的两个图像打包为单个帧的不同技术。

例如，如图1a所示，在单个高清晰度帧C(1920×1080像素)的情况下，利用等于高清晰度帧的分辨率的一半的水平分辨率获取组成左右通道(此后称为L和R)的两个图像，并且然后将该两个图形并排布置到单个帧中(并排格式)。

通过这种方式，可能使用单个的高清晰度流来传输两个独立的视频通道；在解码时，两个半帧被分离并通过应用合适的插值技术将其成为16/9格式。

同样地，如图1b所示，可以使用替代的过程，其涉及使竖直分辨率减半并保持水平分辨率不变，然后将两个帧L和R中的一个布置在另一个的上面(上下格式)。

然后压缩由复合帧组成的立体视频流，以便在广播网络、IP网络或大容量存储器介质上分发它之前减少其传输比特率。

目前用于分发高清晰度视频的最常用压缩技术是由H.264/AVC标准所定义的压缩技术。

目前市场上可获得的高清晰度电视机配备有H.264/AVC解码器，其支持直至1080p格式的格式解码。

各种服务提供商(特别是公共服务广播公司)的关注所集中的最重要的需求之一是立体信号的后向兼容性。

事实上，为了允许那些已经拥有高清晰度解码器的用户享受广播服务，希望3D节目也可以被作为2D节目显示。同样地，希望在DVD、蓝光盘或因特网站点上的3D内容可以被2D和3D电视机和监视器显示。

可以通过两种方式来实现该结果：通过同时广播一个节目的2D和3D版本，或者采用合适的技术来编码立体视频流。

当然，第一选项涉及浪费带宽，这是服务提供商们更想避免的一件事。

对于第二选项，现有技术中已知几种用于生成后向兼容立体视频流的技术。

这些技术中的一种涉及所谓的“深度图”的应用，例如，如在美国专利申请号US 2002/0048395和US 2004/0101043中所描述的那样。

实际上，信号与以携带深度图的补充黑和白视频的形式的二维彩色视频相关联。合适的解码器可以从接收到的数据开始重建立体视频。然而，该技术遭遇了与前述相同节目的2D和3D传输完全相同的问题：事实上，两个视频信号必须并行传送，从而导致高传输比特率。

另一个后向兼容立体流编码技术是例如称为“多视点”的编码技术。

由于组成立体视频流的左眼图像和右眼图像对的特征在于高度相似性，因此，当对二维流编码是采用的空时冗余抑制技术也可以在该情况中使用。事实上，一旦减去由于拍摄点之间的几何距离(即两眼之间的距离)而导致的某个偏移，右眼图像和左眼图像之间的差别是小的。

MPEG2标准已经利用称作多视点简档(MVP)的补充规范进行扩展；同样的，随后的H.264/AVC标准已经通过包含多视点编码(MVC)规范进行扩展。