[发明专利]视觉注意模式

说明书

技术领域

本发明涉及视频质量分析，特别涉及改进的视觉注意模式，以便自动地确定在视频信号的图像中感兴趣的区域。

背景技术

早期被适当调整的视觉系统的模式提供被压缩的自然图像中视觉失真位置的准确预测。数据逼真映像产生主观质量的估算，目前的现代化质量度量标准将执行所有可见误差的简单求和。但是在主观评估图像质量期间并未考虑任何更高的水平或已知的有认识力的因素出现。

失真对整个图像质量的影响被理解为以其相对场景内容的位置的强烈影响。似人视觉系统(HVS)的可变分辨力性质意味着只有在视网膜凹斑处可得到高的分辨力，该视网膜凹斑具有约2度的直径。通过有规则的眼睛运动以便将该区域置位于视网膜凹斑条件下获得一个场景的资料。早期视觉模式假定一个“无限的网膜凹斑”，即场景是在这样一种假设下进行处理的，即所有区域由高分辨力视网膜凹斑进行观察。但是眼睛运动的研究指出观察并不使场景中所有区域等同地处于视网膜凹斑。代之以识别几个地区为似人视觉注意处理感兴趣的区域(ROI)，并且观察倾向于重复地返回到这些ROI而不是仍未被处于视网膜中区的地区。人们知道在这些ROI中图象的逼真度对整个图象质量具有最大的影响。

当观察自然场景时，似人视觉注意和眼睛运动的知识，与对象的选择的和相关的眼睛运动模式相联合，提供似人视觉注意计算模式改进的结构。研究已指出，人们的注意受大量在图象运动中存在的不同特征所影响，例如亮度对比度，颜色对比度，目标大小，目标形状，人和面部在场景中的位置，以及该目标是否为前景或背景的部分。在文献中已介绍了少量简单的视觉注意模式。这些模式以不设监理方式针对检测一个场景中的ROI。它们通常设计用于不复杂的静止的图像。在防止其用作典型娱乐影视的增强注意模式中明显存在大量的缺陷。包括：有限数量的使用的注意特征；未施加不同的加权到不同的特征；缺乏分段技术中的强度；缺乏时间模式；使用过分简单的算法提取注意特征。未说明推荐的模式能牢固地横跨宽范围的图像内容工作和未报告其对人眼运动的相关性。

如在下列文章中所指出的，公开了一种用于自动确定场景中视觉重要地区作为重要性映像(IM)的技术：Wilfried Qsberger，AnthongJ.Maeder and Neil Bergmann：“A Perceptually BassedQuantization Technique for MPEG Encoding”，Proceedings SPIE3299-Human Vision and Electronic Imaging 111，San Jose，USA，pp.48-159，26-29 January 1998。如上所述，这些映像是通过组合影响似人视觉注意和眼睛运动的已知因素而产生的。为了编码分配较低量化到可见重要地区和较少视觉重要性地区具有一个分配的更苛刻的量化。结果表明图像质量主观的改进。

在现有技术中使用典型的递归分开-和-合并分段来执行分段。在分段后，该结果由五个空间特征处理以产生单独的空间重要性映像：对比度；大小；形状；位置和背景。运动也被采纳到考虑之中以产生一个时间的重要性映像。这些单独的重要性映像的每一个将被平方以增强高重要性地区并之后被等同地加权以产生最后的IM。但是感觉到这种技术并不充分牢靠。

使用比现有技术更牢固的人为注意和眼睛运动的特性所要求的是一种自动方式去预测何处ROI似乎位于典型娱乐影视的自动场景中。

发明内容

按本发明提供一种使用视觉注意模式自动标记在一个影视图像中的感兴趣的区域的方法。基于颜色和亮度一个目前帧被适当地分段成多个区域。每个区域由多个包括颜色和表皮的空间特征算法并行处理以产生相应的空间重要性映像。组合空间重要性映像以产生一个综合的空间重要性映像，这种组合是基于由眼睛运动研究导出的加权。目前帧和一个在先帧也被处理以产生用于目前帧的运动矢量，接着在被转换到一个时间重要性映像之前对该运动矢量作摄像机的运动校正。通过线性加权组合综合的空间重要性映像和时间重要性映像以对目前帧产生一个完整的重要性映像，以及线性加权常数从眼睛运动研究导出。

结合附加权利要求和附图阅读时从下列详细说明对本发明目的，优点和其他新的特征将显而易见。

附图说明

图1是按本发明的改进的视觉注意模式的方块图。

图2(a)是一个目前帧的一个图像。

图2(b)是按本发明获得的图像的完整重要性映像。

图3是一条曲线，说明按亮度的一个阈值的变化，用于按本发明的空间特征之一。