[发明专利]解码视频帧的序列的方法、编码多视图帧的序列的方法

说明书

本申请是申请号为201080006265.2(PCT/US2010/022445)、申请日为2010年1月28日、发明名称为“视频编码方法、视频装置和编码系统”的母案申请的分案申请。

相关申请的交叉引用

本申请要求2009年1月29日提交的美国临时专利申请61/148,051号的优先权，通过引用将其全部内容包含于此。

技术领域

本发明涉及数字数据的编码和解码，尤其涉及数字视频数据。

背景技术

近年来，内容提供商对将立体(3D)内容传送到家庭相当感兴趣。这种兴趣不仅受到3D素材越来越普及和产品越来越多的驱动，而且受到若干已经对消费者销售的立体装置的出现的驱动。已经提出了若干用于将立体素材传送到家庭的系统。

发明内容

本发明人实现了对3D以及其它多图像视频系统更好地编码和解码的需要。在各种实施例中，本发明提供了用于编码和解码视频数据的方法、系统和体系结构。例如，使用数据或“红”或“黑”的棋盘式(CB)交织的视频数据，以“红”数据跟着“红”数据之前的黑数据等的格式，进行编码和解码(“红”数据意味着第一图像、视图或者场景的图像数据(被统称为复数的“各视图”或者单数的“视图”)，且“黑”数据意味着(例如，单独视频流的)第二独立视图或者相关视图(例如，要根据“红”和“黑”数据二者绘制(render)的3D图像的第二视图，或者“红”数据中承载的相同视图的另一个角度)的图像数据)。将这些概念扩展，例如，交织视频可以包括例如来自多个节目流、相同场景的多个角度、或者相同或者不同场景、视频游戏或者节目的多组3D视图的多个图像中的任何之一或者更多。另外，用于编码的帧的准备可以包括通过梅花形五点采样或者其它采样技术执行的采样。然后，以有利的格式(例如，考虑到编码器的容量/意向或者数据的格式)布置采样的数据，该格式可以是直棋盘式或者以一个或者更多模式交织的数据(例如，子图像)分组。然后，例如，可以通过MPEG-4AVC或者另一种编码技术进行编码。

在一个实施例中，本发明提供了一种用于利用计算机解码视频帧的序列的方法，该方法包括：接收输入视频帧，输入视频帧包括按照交织布置的两个分离图像；访问第一边信息，第一边信息指示输入帧的交织布置的采样格式；访问第二边信息，第二边信息指示输入帧的按照交织布置的两个分离图像的像素的布置；以及生成第一输出图像和第二输出图像，其中，生成第一输出图像和第二输出图像包括：如果第一边信息指示梅花形五点采样格式且第二边信息指示垂直布置，则将输入视频帧划分为左上半部图像、左下半部图像、右上半部图像和右下半部图像；基于左上半部图像和左下半部图像的像素生成第一输出图像，其中，左上半部图像表示第一输出图像的奇数行和奇数列的样本，且左下半部图像表示第一输出图像的偶数行和偶数列的样本；以及基于右上半部图像和右下半部图像的像素生成第二输出图像，其中，右上半部图像表示第二输出图像的奇数行和偶数列的样本，且右下半部图像表示第二输出图像的偶数行和奇数列的样本。

在另一个实施例中，本发明提供了一种用于将多视图帧的序列编码为比特流的方法，该方法包括：接收第一视图图像和第二视图图像；采样第一视图图像的奇数行和奇数列，以生成封装的视频帧的第一子图像；采样第一视图图像的偶数行和偶数列，以生成封装的视频帧的第二子图像；采样第二视图图像的奇数行和偶数列，以生成封装的视频帧的第三子图像；采样第二视图图像的偶数行和奇数列，以生成封装的视频帧的第四子图像；生成封装的视频帧的第一边信息，第一边信息指示交织的第一视图图像和第二视图图像的梅花形五点采样格式；以及生成封装的视频帧的第二边信息，第二边信息指示第一、第二、第三和第四子图像如何被平铺在一起以形成封装的视频帧。

在一个实施例中，本发明提供了一种方法，包括步骤：对n个图像进行子采样(sub-sample)；将采样图像中的每个采样图像分离为子图像；将子图像一起封装到图像帧中；以及通过视频编码器对单个图像帧进行编码。子采样步骤包括例如梅花形五点采样。该图像可以包括例如3D图像的左视图和右视图、相同场景的多个视图以及多个图像至少之一(并且该图像还可以包括深度和遮挡信息之一)，或者该图像可以包括来自该图像之一的多于一个像素的组。该子图像可以包括其特性与标准图像相似的图像内的数据，或者该子图像可以包括从相应图像中通过模式选择的数据。