[发明专利]一种视点合成预测编码方法、解码方法、对应的装置及码流

说明书

技术领域

本发明及一种多媒体通信领域，具体涉及一种视点合成预测编码方法、解码方法、对应的装置及码流。

背景技术

三维视频(3D video)序列包括多路(通常为2路)图像序列(包含纹理信息)和对应的深度(depth)序列(包含深度信息，即图像中各像素对应三维空间中的物体与摄像机之间的距离)，通常也被称为MVD(multi-view video plus depth)格式。三维视频序列包含若干个访问单元(access unit)，一个访问单元包括多个(两个或多于两个)视点的某一时刻的图像及其对应的深度。编码三维视频序列形成三维视频码流(bitstream)，码流由比特组成。编码方法可以为基于MPEG-2、H.264/AVC、HEVC、AVS、VC-1等视频编码标准的编码方法。需要说明的是，视频编码标准规定了码流的语法(syntax)和对符合编码标准的码流的解码方法，并不规定产生码流的编码方法，但是采用的编码方法必须和标准规定的解码方法匹配，形成符合编码标准的码流，解码器才可以完成对这些码流的解码，否则解码过程可能出错。解码得到的图像称为解码(decoded)图像或者重建(reconstructed)图像，解码得到的深度称为解码(decoded)深度或者重建深度；输入到编码器的(未经编码的)图像称为原始(original)图像。也就是说，编码器内部也完成了由编码得到的信息产生重建图像(或重建深度)的解码处理，且该解码处理与解码器中对码流的解码处理相同。当前编码图像(或当前编码的图像)指当前正在编码的宏块(macroblck)所在帧(frame)的原始图像，当前解码图像(或当前解码的图像)指当前正在解码的宏块所在帧的重建图像。当前编码视点指当前正在编码的宏块所在的视点，当前解码视点指当前正在解码的宏块所在的视点。已编码视点指非当前正在编码的宏块所在的视点，且该视点中的帧先于当前编码视点中相同时刻的帧完成编码；已解码视点指非当前正在解码的宏块所在的视点，且该视点中的帧先于当前解码视点中相同时刻的帧完成解码。

目前的视频编码标准，例如H.264/AVC，大多基于包含预测(prediction)编码和变换(transform)编码的混合(hybrid)编码框架。视频序列中的各帧图像逐帧编码，一帧图像分为若干个宏块(Macroblock)，每个宏块又可细分为若干个块(block)。通常的编码处理可概括为：对每一个宏块，通过一种预测方法(对应于一种预测模式)，得到该宏块的预测图像(由一组预测像素组成)，其中的预测方法通常包括帧内预测(intra prediction，从当前编码块周围的重建像素获得该块的预测图像)和帧间预测(inter prediction，从另一已编码帧的重建图像中获得该块的预测图像)；对多视点视频(multi-view video)序列还包括视间预测(inter-view prediction，从另一已编码视点的重建图像中获得该块的预测图像)；对包含深度信息的三维视频序列还可以包括视点合成预测(view synthesis prediction，从由另一已编码视点的重建图像和重建深度生成的视点合成图像中获得该块的预测图像)。然后，将该宏块的原始图像与预测图像相减，得到残差(residual)；之后，对残差进行变换，得到变换系数；对变换系数进行量化，并将量化后的变换系数、以及预测模式等边信息(side information)进行熵编码，形成码流。由于量化的引入，编码后的图像(即重建图像)和未经编码的输入图像(即原始图像，或称当前编码图像)之间存在一定的差异，通常称为失真。

解码处理可以视为编码处理的逆过程，通常包括以下步骤：对每一个宏块，从码流中解析出该宏块对应的预测模式信息和量化后的变换系数；通过预测模式，采用相应的一种预测方法，得到该宏块的预测图像；将量化后的变换系数反量化及反变换，产生残差图像，将残差图像和预测图像相加，得到重建图像。