[发明专利]一种提取地标性场景摘要的方法

说明书

技术领域

本发明涉及图像内容分析方法、显著性检测方法、网络多媒体分析方 法等。

背景技术

近年来，随着科学技术的进步和推广，特别是多媒体技术和计算机网 络技术的飞速发展，人类已经步入一个高度信息化的时代。网络上的各式 各样的多媒体信息不断膨胀，尤其是直观形象的数字图像正以惊人的速度 增长。面对海量的图像信息，如何对其进行有效的管理和利用，已经成为 一个亟待解决的问题。

给定一个特定的查询，利用现有的图像检索技术可以方便地从海量图 像库中获取与查询相关的图像集合。然而，由于查询结果的数量往往依然 相当庞大，如何以简明扼要的方式将查询结果呈现给用户，从而让用户无 需遍历所有图像就能了解查询结果的全貌，是目前一个具有重要实际意义 的研究课题。标志性图像(iconic image)的提取可以较好地解决上述问 题。所谓标志性图像指的是原图像集的一个子集，该子集在规模上远小于 原图像集，内容上高度概括了原图像集的全部内容。用户通过浏览有限的 几幅标志性图像，便可以方便地了解原图像集的全貌。

从海量的图像库中提取标志性图像，现有的方法大致可以分为三大 类：(1)仅仅考虑二维图像特征，结合特征匹配、聚类等方法，进而实 现标志性图像的提取。然而，二维图像特征并不能提供有效的几何约束， 因而对于地标性场景图像中常见的遮挡、视角转换、光照变化等现象，该 方法往往不是很有效。(2)近年来，研究人员在文章中提出了利用三维 结构信息对地标性场景进行建模的方法，并取得了较好的结果。但是，由 于此类方法需要对数据库中所有图像中复杂的三维结构特征进行两两匹 配，导致计算复杂度相当高，因此只适用于规模较小的图像库。(3)为 了将上述方法推广到大规模图像库，以便高效地从海量图像集合提取标志 性图像，将图像二维和三维信息有机结合起来被证明是一种较为理想的选 择，这种方法的主要思想是首先利用二维图像特征进行初始的聚类，然后 在聚类基础上利用三维结构约束逐步进行细化。该类方法的局限性在于提 取标志性图像时仅仅从图像在聚类中的代表性出发，没有考虑到作为图像 浏览者的用户的感知以及图像本身的特性，因而往往导致选取出来的标志 性图像与用户的浏览需求产生偏差。

发明内容

为了解决现有技术的问题，本发明的目的是以简明扼要的方式将查询 结果呈现给用户，从而让用户无需遍历所有图像就能了解查询结果的全 貌，为此，本发明提供一种提取地标性场景摘要的方法。

为了达成所述目的，本发明提出提取地标性场景摘要的方法的技术方 案如下所述：

步骤1：对每一幅地标性场景图像，提取颜色矩、小波纹理作为地标 性场景图像的全局特征，提取尺度不变转换(SIFT)描述子作为地标性场 景图像的局部特征；

步骤2：利用图像的二维全局特征对地标性场景图像库进行初始聚类；

步骤3：从每一类中选取距离聚类中心最近的若干幅代表性图像，利 用局部特征对代表性图像进行基于显著性的两两几何验证；

步骤4：几何验证之后，从每一个聚类集合中提取标志性图像；

步骤5：利用类间几何验证对选出地标性场景图像中用户感兴趣的区 域的标志性图像进行几何匹配筛选，将相同或相近视角的标志性图像聚为 一类，从而实现相似类的融合，提取出地标性场景摘要。

其中，所述的基于显著性的几何验证步骤如下：

步骤21：通过显著性分析方法对每一幅代表性图像计算对比度分布或 信息密度分布，得到代表性图像中每一位置处的显著性值，进而得到显著 性图；

步骤22：利用显著性图作为加权模板对两幅代表性图像进行三维几何 匹配，利用匹配点所对应的显著性值作为匹配度的权重，实现基于显著性 的几何验证。

其中，获取标志性图像的步骤如下：

步骤31：在每类中，计算每一幅代表性图像与所有其它代表性图像的 显著性加权匹配值总和；

步骤32：选取显著性加权匹配值总和最高的若干幅图像进行图像质量 评估；

步骤33：选取图像质量评估分值最高的图像作为所在类的标志性图 像。

其中，图像质量评估的步骤如下：

步骤41：从训练集中训练出图像质量分类模型；