[发明专利]一种多视点视频信号的编码方法

说明书

技术领域

本发明涉及一种多视点视频信号的处理方法，尤其是涉及一种多视点视频信号的编码方法。

背景技术

多视点视频信号是单通道视频信号在空间方面的扩展。多视点视频系统与单通道视频系统相比，多视点视频系统能让用户自由地在不同的视角观测场景，并具有交互功能。多视点视频信号的编码技术在自由视点电视、立体电视、自由视点视频通信和三维远程医疗等领域具有广泛的应用前景。由于多视点视频信号的数据量随着相机数目的增加而成倍增加，因此要将多视点视频信号运用到实际的多视点视频系统之中，必须对多视点视频信号进行压缩编码，以缓解多视点视频信号带来的存储和传输压力。

对多视点视频信号进行编码最简单的方法是采用先进的视频编码标准对各个视点的视频信号独立地进行编码。然而，多视点视频信号除了帧内和时间相关性外，还具有视点间的相关性，为了利用这些相关性对多视点视频信号进行高效压缩编码，可以采用精心设计的分层B帧(Hierarchical B Pictures，HBP)编码预测结构。HBP除了采用运动估计消除时间上的冗余外，还采用了视差估计来消除视点间的相关性空间冗余，能够对多视点视频信号进行较好的压缩。HBP编码预测结构如图1所示，图1中GOP(group ofpictures，图像组)长度为8，S₀～S₇表示8个视点，T₀～T₇为GOP的8个时刻，箭头表示帧间参考关系，如帧S₁T₄参考了帧S₁T₀、帧S₁T₈、帧S₀T₄和帧S₂T₄，其中帧S₁T₀和帧S₁T₈为时间参考帧，帧S₀T₄和帧S₂T₄为视点参考帧。

JVT(Joint Video Team)长期致力于视频编码的标准化工作，提出了多视点视频编码校验模型(Joint Multi-view Video Model，JMVM)，作为多视点视频信号编解码的研究平台。JMVM中利用了H.264编码标准和HBP编码预测结构。在JMVM中，宏块编码模式可分为SKIP、Inter16×16、Inter16×8、Inter8×16、Inter8×8Frext、Inter8×8、Intra16×16、Intra8×8和Intra4×4等。在编码过程中，如果当前正在处理的宏块所在帧为I帧，则编码器需测试Intra16×16、Intra8×8和Intra4×4宏块编码模式，从这三种宏块编码模式中找到具有率失真代价最小的宏块编码模式作为该宏块的最优宏块编码模式；如果当前正在处理的宏块所在帧为P帧或者B帧，则编码器将搜索多个参考帧的情况下还需依次测试SKIP、Inter16×16、Inter16×8、Inter8×16、Inter8×8、Inter8×8Frext、Intra16×16、Intra8×8和Intra4×4宏块编码模式，从这些宏块编码模式中找到具有率失真代价最小的宏块编码模式作为该宏块的最优宏块编码模式，其中，率失真代价通过J(s，c，MODE|λ_MODE)＝SSD(s，c，MODE|QP)+λ_MODER(s，c，MODE)计算得到，MODE表示当前宏块的一种编码模式，J(s，c，MODE|λ_MODE)表示MODE模式下的率失真代价，s为原始的视频信号，c为采用MODE模式编码后的重构视频信号，λ_MODE为拉格朗日乘子，R(s，c，MODE)表示MODE模式下用来编码宏块头信息、视差矢量信息和所有DCT(Discrete Cosine Transform，离散余弦变换)系数的所有编码比特数，SSD(s，c，MODE|QP)为原始的视频信号和重构视频信号之间的平方差值和(SSD，Sum of Square Difference)，SSD(s，c，MODE|QP)的值通过计算得到，B1、B2分别为当前宏块的水平和垂直像素数，可以取值16、8或4，l＝(l_x，l_y)^T表示视差矢量，QP为量化参量，[i，j]表示像素的坐标，s[i，j]表示原始的视频信号中坐标为[i，j]的像素的像素值，c[i，j]表示重构视频信号中坐标为[i，j]的像素的像素值。这种传统的简单的多视点视频编码方法通过利用多参考帧技术和多种宏块编码模式全搜索的技术可以获得较高的率失真性能，但同时也导致非常高的计算复杂度。如果用α表示总视点数，β表示平均参考帧数，θ表示宏块编码模式种类数，则该多视点视频编码方法编码的时间复杂度可以近似表示为O(α×β×θ)，由此可见，该多视点视频编码方法具有非常巨大的计算复杂度，从而给实际运用带来了严重的障碍。