[发明专利]对如立体图像的多个图像进行子采样和交织的方法和装置

说明书

相关申请的交叉引用

本申请要求2009年1月29日提交的美国临时专利申请61/148,051号的优先权，通过引用将其全部内容包含于此。

技术领域

本发明涉及数字数据的编码和解码，尤其涉及数字视频数据。

背景技术

近年来，内容提供商对将立体(3D)内容传送到家庭相当感兴趣。这种兴趣不仅受到3D素材越来越普及和产品越来越多的驱动，而且受到若干已经对消费者销售的立体装置的出现的驱动。已经提出了若干用于将立体素材传送到家庭的系统。

发明内容

本发明人实现了对3D以及其它多图像视频系统更好地编码和解码的需要。在各种实施例中，本发明提供了用于编码和解码视频数据的方法、系统和体系结构。例如，使用数据或“红”或“黑”的棋盘式(CB)交织的视频数据，以“红”数据跟着“红”数据之前的黑数据等的格式，进行编码和解码(“红”数据意味着第一图像、视图或者场景的图像数据(被统称为复数的“各视图”或者单数的“视图”)，且“黑”数据意味着(例如，单独视频流的)第二独立视图或者相关视图(例如，要根据“红”和“黑”数据二者绘制(render)的3D图像的第二视图，或者“红”数据中承载的相同视图的另一个角度)的图像数据)。将这些概念扩展，例如，交织视频可以包括例如来自多个节目流、相同场景的多个角度、或者相同或者不同场景、视频游戏或者节目的多组3D视图的多个图像中的任何之一或者更多。另外，用于编码的帧的准备可以包括通过梅花形五点采样或者其它采样技术执行的采样。然后，以有利的格式(例如，考虑到编码器的容量/意向或者数据的格式)布置采样的数据，该格式可以是直棋盘式或者以一个或者更多模式交织的数据(例如，子图像)分组。然后，例如，可以通过MPEG-4AVC或者另一种编码技术进行编码。

在一个实施例中，本发明提供了一种方法，包括步骤：对n个图像进行子采样(sub-sample)；将采样图像中的每个采样图像分离为子图像；将子图像一起封装到图像帧中；以及通过视频编码器对单个图像帧进行编码。子采样步骤包括例如梅花形五点采样。该图像可以包括例如3D图像的左视图和右视图、相同场景的多个视图以及多个图像至少之一(并且该图像还可以包括深度和遮挡信息之一)，或者该图像可以包括来自该图像之一的多于一个像素的组。该子图像可以包括其特性与标准图像相似的图像内的数据，或者该子图像可以包括从相应图像中通过模式选择的数据。

分离步骤可以包括例如基于行和基于列中至少之一分离采样图像。分离步骤可以包括从采样图像中的每个采样图像准备多个块的邻近数据。封装步骤可以包括以预定格式交织子图像。预定格式可以基于例如图像、采样图像和所分离的图像样本的任何一个自适应地改变。该方法还可以包括编码标识预定格式的映射的步骤。可以在例如图像帧的区域中编码映射，并且在图像帧的其它区域中执行子图像的封装。映射可以被编码为边信息。交织可以包括例如水平交织、垂直交织和矩形块交织之一。

该子采样步骤可以包括梅花形五点采样，该分离步骤可以包括使用子采样图像的每个其它行和每个其它列之一准备子图像，并且该封装步骤可以包括布置基于行和基于列的子图像之一。该方法可以还包括编码子图像在该图像帧内的布置的标识符的步骤。在一个实施例中，该标识符是放置在该编码模式块的边信息中的代码。作为一种选择，它还可以被放置在该图像帧中。

该封装步骤可以包括根据这里描述的模式和其它模式的任何一个进行封装。该封装可以例如维持至少一个尺寸与该子采样图像之一的尺寸相等。该封装可以包括例如要有效利用解码该编码图像要使用的资源而选择的封装格式。该封装可以包括为了允许包括SNR/分辨率可伸缩性和2D至3D可伸缩性的高级可伸缩性特征而选择的封装格式。基于诸如处理能力的可用资源，可以选择该封装格式。该封装可以包括例如维持具有高值的像素以解码/上采样互相非常靠近的每个[子图像]。该编码步骤可以包括诸如JPEG、JPEG-2000、类MPEG-2、MPEG-4AVC和VC1编码的任何一个图像或者视频编码系统。