[发明专利]基于残差宏块自适应下采样立体视频压缩编码方法

说明书

技术领域

本发明涉及到立体视频信号的编码压缩方法，尤其是涉及视频信号的时间相关性与立体视频信号左右视点间相关性分析的基于残差宏块下采样的视频信号压缩方法。

背景技术

在下一代视频技术中，立体视频作为一种比普通视频提供更多信息内容和具有更多数据量的数字媒体，因其具有强烈的立体感和纵深感特性越来越受到人们的关注。尤其是进入21世纪，人们对视频信息的感受逐渐地从模拟、平面视频转化到数字、立体视频。数字化的立体视频在数字电影、数字电视、自动导航、虚拟现实等领域将有着广阔的应用前景。立体视频信息编码理论和技术的研究体现了下一代数字视频研究领域的方向发展。

立体视频是利用人眼的双目视差原理，让双目各自独立地接收来自同一场景、特定摄像点的左右眼图像，从而获取具有深度感的信息。由于人眼双目各自独立接收信息，因此与单目视频相比，它在给人们带来真实感受的同时，也带来了一系列问题，最为明显的就是数据量和处理复杂程度的成倍增加，使得立体视频在远程通信、信息存储、信息处理等应用领域面临巨大考验。如在有限带宽的条件下，不采用任何技术处理的立体视频信息远程传输几乎是不可能的。因此，高效的立体视频信息编码技术是立体视频走向实际应用的关键。

由于立体视频通过双目同时得到物体的两幅图像而使用户产生深度的感觉，或者说，双目所得到的图像是同一场景、同对象在同一时刻的左右眼图像，其信息具有高度的相关性。除了单目视频信息所具有的时间相关、空间相关等相关性之外，更为重要的是存在双目视差。于是，便可对左右通道视频图像采用分层编码的思想和具体不同的编码策略，如对左眼得到的图像(或称左通道图像)采用传统的基于运动补偿预测的帧间预测编码和帧内变换编码相结合的混合编码技术来处理，并将左通道信息作为基本层码流；而对右眼得到的图像(或称右通道图像)采用传统的混合编码和消除视差相关性编码的联合补偿预测编码技术，并将右通道信息作为增强层码流，同时使得左右通道码流很容易做到与H.264编码标准兼容，从而大大减少立体视频信息之间的冗余，使得立体视频信息压缩编码后具有实际应用的价值。虽然采用对右视点图像序列采用联合补偿预测的编码模式进行编码，但最终形成的立体视频的数据量相对于现有网络带宽而言还是很大，并且根据人眼的视觉抑制理论——人的3D感觉是通过相距为瞳孔长度的双眼获得图像在大脑皮层进行融合成一个图像时，一只眼睛的视觉特性受另外一只眼睛的视觉特性抑制，两只眼睛融合的图像主观质量接近与两只眼睛的平均质量，同时并指出高分辨率图像能够抑制低分辨率图像中的模糊部分。基于这个理论，本发明采用一种新的立体视频的压缩算法来降低立体视频的数据量。

发明内容

技术问题：本发明所要解决的技术问题是提供一种基于残差宏块自适应下采样立体视频压缩编码方法，在不降低编码质量的同时，提高编码的效率。

技术方案：本发明基于残差宏块自适应下采样立体视频压缩编码方法是，将编码器设置成视频预测编码模块、全局视差计算模块、采样模式判决模块、残差图像下采样编码模块和解码图像上采样重建模块共四个功能模块，对左右视点的视频序列采用非对称的视频编码方法，即右视点采用联合补偿预测编码，该方法处理流程包括以下步骤：

步骤1：对输入的立体视频信号，对左视点视频序列不考虑视差估计模块，而是直接采用基于运动补偿预测编码和离散余弦变换编码相结合的H.264多模式多参考帧编码方案进行编码，并且进行重建，

步骤2：对于右视点视频信号，首先判断出每个图片组中的立即刷新帧，然后对该立即刷新帧图像的残差宏块采用直接离散余弦变换的编码方法，即不需要对残差宏块进行下采样，同时在全局视差计算模块中计算立即刷新帧图像的全局视差，并以次全局视差作为每个图片组中的每个帧的全局视差，

步骤3：对右视点视频信号中的每个图片组中除立即刷新帧之外的图像采用基于运动补偿预测和视差补偿预测编码相结合的联合补偿预测方案，对当前编码块的编码预测模式进行估计，右视点视频图像块编码预测模式为视差补偿预测模式，或运动补偿预测模式，或联合补偿预测模式中的其中一种模式，

步骤4：通过获得的编码预测模式和全局视差的值束判断当前编码块选择其中一种下采样编码模式，下采样编码模式有水平下采样编码模式、垂直下采样编码模式和四分之一下采样编码模式，

步骤5：通过步骤4得到的下采样编码模式，首先对残差宏块进行下采样，然后进行离散余弦变换、量化和熵编码，