[发明专利]用于寻找图像集合中的代表性图像的系统和方法

说明书

技术领域

本发明涉及用于寻找图像集合中的代表性图像的系统和方法。

背景技术

随着信息存储技术的发展，存储装置的存储能力日益提高，所存储的信息量也越来越大。现实生活中，在诸如电子相册之类的包含大量电子图像的图像集合中，常常存在数量众多的、未经组织的各种图像，导致用户难以快速掌握图像集合的整体内容。在此情况下，如果能够自动寻找出最能代表图像集合中的所有图像的内容的一个或多个图像(即，所谓的代表性图像)，则这将极大地改进用户体验。

专利申请No.US20070094251提出了一种用于文档图像数据库的导航系统。对于用户输入的搜索关键词，该系统通过采用文本搜索来收集图像，通过使用图像视觉特征来对图像自动分组，并显示每组的代表性图像。然而，在该系统中，需要用户手动输入文本关键词。事实上，在实际应用中，很多情况下用户不能获知诸如电子相册的图像集合中包含的关键词，因此用户常常只能试探性地输入搜索关键词，而该搜索关键词常常不能概括整个图像集合，因此不能令人满意地得到图像集合的代表性图像。

专利申请No.US5995978提出了一种对于语义主题的富呈现(richpresentation)方法。该语义主题可以是一个或多个关键词、人名、事件、场景等。由于图像集合中可能包含多个语义主题，因此为了导航图像集合，首先需要确定包括哪些主题。然而，由于语义主题检测技术目前尚不成熟，导致该方法的性能不够理想。

发明内容

有鉴于上述问题，本发明提出了一种用于寻找图像集合中的代表性图像的方法和系统，其能够以有效的方式自动寻找图像集合中的代表性图像，从而有助于用户快速掌握图像集合的整体内容，改进用户体验。

根据本发明的一方面，提供了一种用于寻找图像集合中的代表性图像的方法，包括：基于每个图像的元数据信息和/或由用户输入的标记信息，从包括多个图像的集合中的每个图像提取该图像的文本特征；基于每个图像的所述文本特征，获取该集合的多样性数据，用于表示该集合中的任何两个图像的内容之间的差异性；基于所述多样性数据来计算每个图像的代表性分数，用于表示该图像的内容相对于该集合中的所有图像的内容的代表性；以及基于所述代表性分数，选择代表该集合中的所有图像的内容的一个或多个图像。

此外，所述方法还可包括：从该集合中的每个图像提取该图像的视觉特征；以及基于每个图像的所述视觉特征，获取该图像的显著性数据，用于表示该图像的内容在该集合中的普遍性；其中，所述代表性分数还基于所述显著性数据。

此外，在所述方法中，所述选择代表该集合中的所有图像的内容的一个或多个图像可包括：基于每个图像的代表性分数，对集合中的所有图像的代表性分数进行排序；以及基于所述排序的结果，选择代表该集合中的所有图像的内容的一个或多个图像。

此外，在所述方法中，所述提取每个图像的文本特征可包括：基于该集合中的所有图像的元数据信息和/或由用户输入的标记信息，创建该集合的文本关键词库；从该集合的文本关键词库中选择一个或多个文本关键词，创建文本特征空间，其中所述文本特征空间的维度等于所选择的文本关键词的数量；以及基于所述每个图像的元数据信息和/或由用户输入的标记信息，通过所述文本特征空间形成每个图像的文本特征。

此外，在所述方法中，创建所述文本特征空间可包括：统计该集合的文本关键词库中的每个文本关键词的出现频率；以及选择其出现频率处于预定范围内的文本关键词，以创建所述文本特征空间。

根据本发明另一方面，提供了一种用于寻找图像集合中的代表性图像的系统，包括：文本特征提取器，被配置为基于每个图像的元数据信息和/或由用户输入的标记信息，从包括多个图像的集合中的每个图像提取该图像的文本特征；多样性数据获取器，被配置为基于每个图像的所述文本特征，获取该集合的多样性数据，用于表示该集合中的任何两个图像的内容之间的差异性；代表性分数计算器，被配置为基于所述多样性数据来计算每个图像的代表性分数，用于表示该图像的内容相对于该集合中的所有图像的内容的代表性；以及代表性图像选择器，被配置为基于所述代表性分数，选择代表该集合中的所有图像的内容的一个或多个图像。

此外，所述系统还可包括：视觉特征提取器，被配置为从该集合中的每个图像提取该图像的视觉特征；以及显著性数据获取器，被配置为基于每个图像的所述视觉特征，获取该图像的显著性数据，用于表示该图像的内容在该集合中的普遍性；其中，所述代表性分数还基于所述显著性数据。