[发明专利]图像序列的质量评估

说明书

相关申请的交叉引用

本申请要求2009年2月12日提交的美国专利临时申请No.61/152,145的优先权，其整体经引用并入本文。

技术领域

本公开涉及图像质量评估。更具体而言，本发明的实施例涉及图像序列的质量评估。

背景技术

质量评估对于改进许多多媒体应用中的用户体验是有用的。生成可以准确估计图像序列的感知质量的客观质量指标(metrics)可以促进质量评估。

质量评估可以用于一些多媒体应用。这种应用包括视频压缩、预处理、后处理、以及水印制作等。在视频压缩中，编码技术可以使用视频质量指标通过速率失真优化改进编码参数，预处理技术有赖于视频质量指标来优化在给定目标应用或环境下的预处理滤波器参数。在视频后处理中，内容适用于以各种空间和时间分辨率在各种显示器类型上显示，可以对于每种显示器类型评估所得的视频质量。在水印制作中，可以在嵌入水印时使用视频质量指标来最小化由于水印所致的可感知失真或者可以在检测和/或译解嵌入的水印信号时考虑视频质量指标。

质量测量的一个途径是执行主观测试。然而，建立这种测试会招致一些困难和花费。开发能够对使用主观测试获得的途经提供质量评级的客观的图像质量指标。(见整体经引用并入本文的参考文献[1]、[2])。然而，尽管当前存在这种困难或花费(见整体经引用并入本文的参考文献[3])，大多数视频压缩团体继续使用MSE(均方差)和PSNR(峰值信噪比)作为失真指标。近来，对新应用(如3D/立体视频递送)的相当的兴趣已重建了对创建更好地对人类视觉系统建模的更好、更准确的指标的兴趣。

通过压缩、预/后处理等引入到视频的失真在性质上既可以是空间的也可以是时间的。在多视图视频中，也会引入交叉视图/立体失真。空间失真包括诸如量化、组块(blocking)、模糊、以及振铃失真(ringing artifacts)等的压缩失真(compression artifacts)。图像质量评估团体已深入研究了空间失真指标但是对时间和多视图失真的作用却知之甚少。这种失真导致在所得视频中的时间或/和视图的不一致。

在客观知觉质量指标中考量时间失真的早期尝试考虑一个时间对比灵敏度函数来确定序列在时间域中的可感知差异(见整体经引用并入本文的参考文献[4]、[5]、[6])。然而这些方法并未考量序列中的运动，并且像这样，未完全测量序列的感知的时间一致性。类似地，对于立体图像，未考虑视图之中的立体视图视差。

其它客观质量指标，诸如整体经引用并入本文的参考文献[7]、[8]中示出的那些客观质量指标，通过测量序列中连续图像之间的像素差或相关性来测量序列的时间一致性。然而，他们未在测量以前执行运动估计，因此仍然无法充分估计序列的真实的时间一致性。

在整体经引用并入本文的参考文献[11]中，通过引入基于序列的每个图像中的运动量的全局加权方案把公知的结构相似性图像质量指标(见整体经引用并入本文的参考[9])扩展到视频领域。然而，该方法忽略了时间一致性与质量之间的关系。整体经引用而并入本文的参考文献[10]中提出了更完善的运动补偿结构相似性指标。然而，提出的技术有赖于光学流(optical flow)的运算，这实施起来可能复杂并且无法用于包含显著运动的图像区域中。

附图说明

并入本说明书中并构成本说明书一部分的附图示出了本公开的一个或更多个实施例，并且附图连同详细描述和实例一起，旨在解释公开内容的原理和实施。

图1示出了根据本公开的质量评估系统和方法的实施例。

图2更详细地示出了图1的视差估计块的实施例。

图3示出了将图2的方案适用到多视图环境。

图4示出了按照本公开的指标的第一实施例。

图5示出了按照本公开的指标的第二实施例。

图6示出了图5实施例的组合的时间/多视图实例。

图7示出了按照本公开的指标的第三实施例。

具体实施方式

概述

本发明的实施例涉及图像序列的质量评估。提供了用于图像序列评估的质量评估方法，包括：在一个或更多个域中执行图像之中的视差估计以生成视差向量；以及基于视差向量计算指标以评估质量。

在实施例中，提供了用于计算测试图像序列的一致性的系统，包括：视差估计器，用以通过生成视差向量来估计测试图像序列的图像之中的视差或者测试图像序列的图像与参考图像序列的图像之间的视差；指标计算器，用以计算根据视差估计器生成的视差向量的测试图像序列的一致性估计。