[发明专利]对多视图视频进行统一编码的装置

说明书

技术领域

本发明涉及一种用于多视图视频的统一编码/解码的装置及其方法；更具体地，涉及一种用于通过补偿多个随机排列的照相机的不同特性(例如照相机参数、以及每个照相机视点的颜色)、并且对当前正在被编码的视点的画面进行预测编码以便借助预测多视图视频而对多视图视频进行编码的统一多视图视频编码装置及其方法，一种统一多视图视频解码装置及其方法。

背景技术

为了提供现实的视频服务，已经在各种应用领域普遍使用多视图视频。但是，利用常规的编码方案，压缩与编码多视图视频需要宽得多的带宽，这是因为多视图视频数据为与视点的数目的倍数一样多的海量数据。

MPEG-2视频解码器与H.264视频编码器被广泛用作单视图视频编码器与解码器。MPEG-2视频解码器为数字TV代表的解码器。另外，H.264视频编码器一般用于高效率压缩与数字多媒体广播(DMB)服务。但是，此类单视图视频编码器不适于传送多视图视频数据，这是因为单视图编码器没有有效地利用相邻视点的画面之间的冗余信息。

已经引入了各种常规编码技术来处理多个画面，例如处理两个视点的立体视频(stereoscopic video)的编码方法，以及基于三维对象、或者不考虑三维对象地基于多个照相机的排列而处理多于3个视点的多视频数据的另一种编码方法。

使用MPEG-2多视图简档(multi-view profile MVP)与MPEG-4时间可扩展性(temporal scalability TS)的常规编码技术被广泛用于编码立体视频。

此后，将首先描述主要背景技术H.264，然后描述MPEG-2多视图简档(MVP)。

MPEG-visual与H.263为视频压缩技术的标准。在颁布H.263之后，运动画面专家组(MPEG)与视频编码专家组(VCEG)一起进行了研究，以定义下一代压缩技术的新标准，该下一代压缩技术提供高压缩率且同时满足高品质、低比特率流传送视频。

在定义H.263标准之后，ITU-T的VCEG开始进行研究，以定义H.263版本2标准以及ITU-T H.26L。通过向H.263添加补充功能，定义了H.263版本2，并且ITU-T H.26L为用于以低比特率传送视频的新标准。该ITU-T H.26L被MPEG高度强调。相应地，MPEG联合ITU-T的VCEG来组成联合视频组(JVT)，以将H.26L模型定义为国际标准。结果，引入ISO MPEG4 Part 10、即ITU-TH.264作为国际标准。

图1为图示常规H.264编码器的方框图。

常规H.264编码器包括预测块110、变换与量化块120、以及熵编码块130。

预测块110进行帧间预测与帧内预测。帧间预测为利用通过解码与去块滤波而生成并且存储在缓冲器中的参考画面对当前画面进行的块预测。即，帧间预测利用画面之间的信息进行预测。预测块110包括用于帧间预测的运动估计块111与运动补偿块112。帧内预测为利用要被解码的画面内的、相邻于要被预测的目标块的块的像素数据而进行的预测。

变换与量化块120通过变换在预测块110处获得的预测样本、并且量化变换后的数据而压缩视频数据。熵编码块130根据预定编码方案，对量化后的视频数据进行编码，以生成H.264比特流。

此后将描述MPEG-2多视图简档(MVP)。

图2为显示通过应用视频专家组(MPEG)-2的时间可扩展性而实现的MPEG-2多视图简档(MVP)的编码器与解码器的方框图。

MPEG-2的可扩展性用来在同一时间利用单个装备对具有不同分辨率的图像进行解码。可扩展性中的时间可扩展性为通过增加帧速率来提高视觉品质的技术。通过对立体视频(stereo viedo)实现时间可扩展性，来开发多视图简档。

基于立体视频的编码器与解码器一般具有图2所示的时间可扩展性结构。在常规立体视频编码器中，立体视频中的左画面被输入到基本视图编码器，右画面被输入到时间辅助视图编码器，如图2所示。

常规立体视频编码器一般具有用于时间可扩展性的所示结构。即，其为在基本层的画面之间建立画面的层间编码器。相应地，如果独立地编码与解码左画面，则可以生成正常视频。但是，如果同时编码与解码左画面与右画面，则可以生成三维视频。此处，需要系统MUX与系统DeMUX来同步或者分离两个画面的序列，以传送或者存储视频。

图3为图示使用MPEG-2多视图简档(MVP)的立体视频编码器/解码器的方框图。