[发明专利]用于处理3D场景的一个或更多个视频的方法

说明书

场景视频被处理以合成视图。这些视频由相应的照相机获取，这些照相机被排布成各个照相机的视图与至少一个其他照相机的视图交叠。针对各个当前块，从相邻块获得运动矢量或视差矢量。深度块基于相应的基准深度图像和运动矢量或视差矢量。使用运动场的后向弯曲，基于深度块生成预测块。然后，执行针对使用预测块的当前块的预测编码。后向映射也可以在空间域中执行。

技术领域

本发明总体涉及对多视图视频编码，更具体地说，涉及用于预测压缩的对3D多视图视频编码。

背景技术

多视图视频编码对于诸如三维电视(3DTV)、自由视点电视(FTV)以及多照相机监视等应用是不可缺少的。多视图视频编码也被称为是动态光场压缩。如这里使用的，编码可以包括例如在编解码器中编码、解码或编码和解码这两者。

深度图像被认为是新兴3D视频编码标准中的数据格式的一部分。使用深度图像作为辅助信息以执行预测编码被称为视图合成预测(VSP)。

在常规视频编码(例如，根据H.264AVC(高级视频编码)和H.265HEVC(高效率视频编码)标准的编码)中，使用来自相邻块的运动信息以导出运动矢量。然后，所导出的运动矢量用作运动矢量预测子(MVP)，以预测针对当前块的运动矢量。然后，编码并发送当前运动矢量与MVP之间的运动矢量差(MVD)。

图1示出了对当前块编码的常规方法。步骤110从相邻块导出被称为MotionDerive的运动矢量或视差矢量。步骤120通过应用旨在使得残留差最小化的运动估计技术，确定针对当前块的被称为MotionCurrent的运动矢量或视差矢量。步骤130计算并对运动矢量差编码：(MotionDiff＝MotionCurrent-MotionDerive)。最后，步骤140对残留块编码。

图2示出了相应的现有技术编码器。元件201示出图片的一部分中的块。在元件201中，当前块由星号“*”表示，并且相邻块由点“.”表示。从如元件201中所示的相邻块，导出202运动矢量或视差矢量。从202所导出的运动矢量或视差矢量充当运动矢量预测子(MVP)203。

通过参照纹理基准图片缓冲204，对当前块执行205运动估计，以产生206针对当前块的运动矢量(MotionCurrent)。

在计算207MVP与MotionCurrent之间的差分之后，获得208运动矢量差分(MVD)，该MVD 208被编码209到比特流210中。

来自运动估计205的另一个输出是基准图片，该输出充当纹理预测子211。然后，通过基于纹理预测子211和当前图片215执行212纹理预测，获得纹理残留213。纹理残留213也被编码214为该比特流的一部分。

图3示出解码器。从如元件301中所示的相邻块，导出302运动矢量或视差矢量。所导出的运动矢量或视差矢量充当运动矢量预测子(MVP)303。

从编码后的比特流310，解码309运动矢量差分(MVD)308并且馈送到加法器307。将运动矢量预测子303和运动矢量差分308相加307，然后获得针对当前块的运动矢量MotionCurrent 306。

从编码后的比特流310，解码314纹理残留图片313。将当前运动矢量306和纹理残留图片输入到运动补偿模块305。与纹理参照缓冲304一起执行运动补偿，并且最后输出315解码后的图片。

发明内容

一种通过使用针对纹理编码的后向弯曲来执行视图合成预测(VSP)的方法和系统，其中，在纹理分量之后对深度分量编码。

常规地，基于前向弯曲的视图合成预测通常使用来自基准视图的纹理和深度分量。虽然前向弯曲通常提供高保真性，但是基于前向弯曲的VSP的主要缺点是大幅增加编解码器的复杂性。