[发明专利]基于结构相似度的码率失真优化感知视频编码方法和系统

说明书

相关申请的交叉引用

本申请要求于2011年06月14日提交的专利号为61/496,923的美国分案申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本发明主要涉及视频编码，尤其涉及一种视频编码，其利用基于结构相似度的码率失真优化方法来提高解码后的视频感知质量而不增加数据码率，或者降低压缩视频流的数据码率而不会牺牲解码后的视频的感知质量。

背景技术

在数字图像应用的各个环节，如采集，处理，压缩，存储，传输和再现过程中都会造成各种失真，任何一个过程都可以导致视觉质量的下降。由于图像最终是供用户观看的，量化视觉图像质量最可靠的方法是通过主观评价。然而在实践中，主观评价通常是不太方便，耗时和昂贵的。客观图像质量度量可以自动预测感知图像质量。最简单且最广泛使用的质量度量方法是通过计算失真及参考图像像素的均方差（MSE）和相关峰值信噪比（PSNR）。但是这些方法经过验证都不能很好的匹配感知视觉质量。在过去的十几年中，大量的努力付出在开发先进的质量评估方法。其中的结构相似指数（SSIM）方法在复杂性和质量预测准确性之间取得了一个很好的权衡，已成为被学术研究人员和行业实施者最广泛认可的图像/视频质量测量方法。

总而言之，视频编码通常需要在数据码率R和允许的失真值D之间取得一个最好的权衡，即码率失真优化（RDO）。总体码率失真代价函数可以用R和D来定义，并且拉格朗日参数可以用于控制这两项的相对权重。RDO的目的是找到最优的拉格朗日参数。现有视频编码技术使用绝对差之和（SAD）或平方差之和（SSD）来定义失真D，然而这种方法因其较差的感知图像质量的相关性在文献中被广泛批判。为了提高给定数据码率的压缩视频流的感知质量或在不影响感知质量的前提下降低数据码率，应使用更具有实际意义的感知图像质量测量方法—如SSIM来定义D。然而，如果使用感知质量测量方法—如SSIM指数—来定义RDO中的失真函数D，由于SSIM指数的数学结构较为复杂，因此很难得出最佳拉格朗日参数。

总而言之，编码视频流可由多组图片组成。每个GOP都以独立编码的I帧作为第一个帧，并包括所有帧直到但不包括下一个I帧。例如，即使MPEG4/H.264AVC标准可支持不同的GOP长度，但其仍使用通用参考编码器编码固定GOP长度的图片。

视频序列通常由各种场景组成，其中可以根据可视信息、内容复杂性和活跃度划分每个场景。因此，整个视频序列就可以根据可视内容的属性划分成多个GOP，因此每个GOP中的图片具有相似的感知重要性。鉴于每个GOP的相对感知重要性，同时为了在给定的码率预算范围内获得更好的感知视频质量，有必要对不同GOP的比特进行划分。这可以通过根据感知重要性调整每个GOP的量化级别来实现。多次编码是一种视频编码技术，可调整每个GOP的比特率，将感知视频质量优化到最高，其中第一次编码将对视频进行分析并记录下信息，然后可用于第二次以及后续编码。然而，正是因为这个原因，多次编码系统不能用于实时应用中。在这种情况下，可以根据已经编码的帧使用单次编码系统实现不同GOP间的比特率分配。

一个实用的方法就是用计算复杂性较低且可实现较高预测精确度的IQA方法（例如SSIM）来开发具有高精确度的客观视频质量评估（VQA）方法。通过加权平均视频中单张图片/帧的质量分数得到最终质量分数。先前的研究已经表明，将较大的权重分配给高失真区域通常对IQA/VQA方法的性能具有积极影响。因为最终分数主要受具有较高失真度的帧影响，所以通过使用高品质GOP的高量化等级达到相似的感知质量，因此视频序列中所有帧的IQA性能会更加稳定。因此，可通过大幅降低比特率来实现类似的感知质量。

发明内容

一方面，本发明涉及一种视频编码方法，包括基于SSIM的码率失真优化方法。

另一个方面，本发明涉及一种利用基于SSIM的码率失真优化方法的视频编码方法，该方法包括以下步骤中的至少几个：最小化由拉格朗日乘数乘数据码率的值和基于SSIM的失真函数之和得出的联合代价函数值；利用拉格朗日参数控制码率和失真之间的均衡；借助量化步距SSIM导数与量化步距数据码率导数的比值得出最佳拉格朗日参数；利用预测模型估计量化步距的SSIM导数；以及利用码率模型估计量化步距的数据码率导数。