[发明专利]一种基于人眼视觉特性的立体视频非对称压缩编码方法

说明书

技术领域

本发明涉及到立体视频的编码压缩方法，尤其是针对人眼主观视觉特性提出了一种新的非对称压缩编码方法，针对联合多视点视频编码模型中的编码结构，将降质过程平均分配到两个视点中去。

背景技术

立体视频一般由两个或两个以上的视频通道组成，在播放时通过显示从略微不同的角度采集到的同一场景的两个视图，分别对应人的两只眼睛，形成双目视差，并依靠人的大脑将这些图像融合成一幅有意义的三维图像，从而形成立体感。随着计算机、通信及网络技术的发展，立体视频的应用前景已经越来越广泛，包括立体电视、自由视点视频、远程医疗等等，它能够提供更生动的动态场景表示，是下一代家庭影院、广播电视以及流媒体应用的新媒体类型。然而，用两个相机对活动场景同时记录会产生很大的数据量，处理复杂程度也会成倍增加。为了有效存储信息并在带宽受限的信道上传输视频，必须充分利用空间、时间和两个通道的信息冗余，采用运动补偿预测、视差补偿预测技术，对立体视频数据进行压缩。因此，在不影响视频质量的前提下，减少带宽需求是立体视频走向应用的重要问题。

为了提高压缩效率，可以采用两种技术进行立体视频编码。一种技术是利用左右视点间的信息冗余。由于立体视频是通过双目同时得到物体的两幅图像而使用户产生深度的感觉，或者说，双目所得到的图像是同一场景、同一对象在同一时刻的左右眼图像，其信息具有高度的相关性。除了单目视频信息所具有的时间相关、空间相关等相关性之外，更为重要的是视点间存在双目视差。于是，便可对左右视点视频图像采用分层编码的思想和具体不同的编码策略，如对左眼得到的图像(或称左视点图像)采用传统的基于运动补偿预测的帧间预测编码和帧内变换编码相结合的混合编码技术来处理，并将左视点信息作为基本层码流；而对右眼得到的图像(或称右视点图像)采用传统的混合编码和消除视差相关性编码的联合补偿预测编码技术，并将右视点信息作为增强层码流，同时使得左右视点码流很容易做到与H.264编码标准兼容，从而大大减少立体视频信息之间的冗余，使得立体视频信息压缩编码后具有实际应用的价值。虽然对右视点图像序列采用联合补偿预测的编码模式进行编码，但最终形成的立体视频数据量相对于现有网络带宽而言还是很大。另一种压缩技术是利用人眼视觉特性减少其中一个单目视频输入的信息量。这个技术是基于视觉心理学的研究，在立体视觉中，一只眼睛所看到的模糊的降质图像可以被另一只眼睛看到的清晰图像所掩盖，两只眼睛融合的图像主观质量接近与两只眼睛的平均质量。同时视觉心理学还指出高分辨率图像能够抑制低分辨率图像中的模糊部分，而不会影响感知深度，这就是人眼抑制理论。因此，只要其中一个视点具有高质量，人眼视觉系统(HVS)就可以感知高质量的3D视频。可以利用这种视觉心理冗余来提高立体视频的传输效率，通过非对称编码双目视频，其中一个视点传输完整的视频质量，而另一个视点，通过降低空-时分辨率或减少比特率进行降质处理，这就是传统的立体视频非对称压缩编码方案。然而，在传统的立体视频非对称编码中，始终用降质图像表示一个视点，其观看效果取决于各个观看者，因为这个降质的视点可能是观看者占主导地位的视点，在这种情况下，模糊的掩盖效果不容乐观甚至不起作用。一种自然的解决方法就是对左右两个视点视频的每帧图像交替降质，使得在时间上每个视点的视频质量分布均匀。然而，取决于图像质量的非对称程度，视点间频繁交替的图像质量在观看时会产生不好的闪烁现象。为了克服这个问题，可以利用场景切换时视觉掩盖效应。也就是，在场景切换时进行交替降质，保证时间上每个眼睛所观看的图像质量平均，并且交替降质产生的闪烁现象不可见，从而大大减少带宽。

基于以上所述的理论和技术，本发明采用一种新的立体视频非对称压缩算法来降低立体视频的数据量。

发明内容

技术问题：本发明所要解决的技术问题是提供一种立体视频信号编码压缩方法，充分利用左右视点视频序列的相关性以及人眼主观视觉特性，在不降低主观视频质量的同时，提高编码的效率。

技术方案：本发明的一种基于人眼视觉特性的立体视频非对称压缩编码方法将人眼视觉特性应用到立体视频压缩编码中，采用非对称编码方法，在联合多视点视频编码模型中以图像组GOP为单位间隔进行分辨率切换，对输入图像交替的进行下采样，使得每个视点都交叉地包含高质量和低质量的输入图像，再进行视点内的运动补偿预测编码、视点间的视差补偿预测编码以及运动补偿预测和视差补偿预测相结合的联合补偿预测编码，选取预测误差较小的一种作为预测方式，该编码方法包括以下步骤：