[发明专利]融合伪相关反馈与检索技术的自动图像标注方法

说明书

技术领域

本发明涉及一种新型的自动图像标注方法，尤其涉及一种融合伪相关反馈与检索技术的自动图像标注方法。

背景技术

随着大量多媒体的出现，对其进行有效地管理和检索成为目前一个重要的研究课题。在上世纪70到80年代，对图像的检索主要是基于文本的检索，与图像相关的文本都是手工标注上去的，标注的工作量大，而且依赖于标注者的个人主观判断。在1992年首次提出了基于内容的图像检索(CBIR-Content Based Image Retrieval)技术，它可以自动提取图像的底层特征、自动检索。现在有许多CBIR系统已经被开发出来。然而，由于“语义鸿沟”问题的存在，使得检索结果的精度不高，不能满足用户的需求。因此，最近提出了自动图像标注方法，可以有效地缓解这个问题，减少了工作量与标注的主观性，又可以保留基于文本检索的优点。

在自动图像标注研究中，如何学习建立图像内容与关键词之间的关系模型是一项关键技术。通常来说，在已经标注好的训练图像集合中，关键词是标注给整幅图像的，由于将图像分割成了区域的集合，因此并未标注到区域上。首先，在每幅图像中，找到区域与关键词之间的一个对应关系。然后，根据这个对应关系，建立图像内容与关键词之间的关系模型。因此，研究的目的在于如何找到区域与关键词之间的对应关系，使之尽可能的准确。

在现有技术中，已经有许多成熟的自动图像标注方法，一类标注是基于概率模型的方法。其中，早期的Barnard and Duygulu等人提出的基于翻译模型(TM)的标注策略是比较经典的方法。根据关键词与区域的共现信息，使用了经典的统计机器翻译模型，将图像的一系列关键词翻译成区域符号的集合。为了进一步提高建立区域与关键词的概率关系模型，人们相继引入了隐变量的概率模型、相关图像与关键词之间概率模型等一系列的基于概率模型的标注方法，具有更好的标注性能。这类方法要求不断的估计概率模型中的参数，而且在图像内容与关键词之间存在的“语义鸿沟”，使得标注性能受到很大的制约。

第二类标注是基于分类的方法，在这类方法中，每一个关键词作为一个独立的语义类别。具有代表性的工作有应用支持向量机(SVM-Support Vector Machine)进行的分类、贝叶斯点机制、自动语言索引、以及估计每个关键词的视觉特征的分布等标注方法。由于每个关键词建立一个分类器，因此这类方法不太适用大量关键词的情况，限制了标注方法的可移植性。

第三类标注是基于图的方法，这类方法将图像描述成一个图的连接关系。其中，Pan等首次提出了基于图的自动标注(CCap-Graph-basedautomatic caption)方法，他们将所有图像、区域和关键词表达成为一个节点的三种数据类型，并根据三者内在的联系连接建立成一个图。另外，基于流行排序的图像标注方法也被提出。这类方法受到训练图像集合大小的制约，如果训练集增大，那么建立的图也会变得很庞大。

第四类标注是融合了检索技术的标注方法，该方法有效地融合了当前的检索技术进行标注，进而提高了图像标注的性能。在这种图像标注方法里，将未标注的图像看作是查询图像。首先，根据检索技术找到查询图像的一些相关图像集合。然后，从相关图像的关键词的集合中，可以应用一些文本技术挖掘出标注结果。首次提出融合检索技术进行标注的方法，即AnnoSearch方法，该方法要求用户给查询图像一个初始关键词，可以说该方法是一个半自动的过程。为了简化标注过程，进行改进，提出了基于检索的标注算法(SBIA-Search Based Image Annotation)，该方法无须用户提供初始关键词，实现了检索与标注的全自动化。基于检索的标注方法避免了复杂的参数学习的过程。而且，由于通过检索找到相关的图像，因此，该方法不受训练集或者关键词集合的限制。最近，这种标注方法受到很大的关注。

下面，对现有的基于检索的标注策略做一介绍性的比较。

(1)AnnoSearch方法

在AnnoSearch方法中，将未标注图像作为查询图像。首先，由用户给查询图像提供一个初始的关键词。然后，根据基于文本的图像检索技术，在Web中检索到与查询图像相关的图像集合，同时也得到一个相关图像的关键词集合。最后，对这个关键词集合上进行聚类，给出相关关键词的排序列表，从中决定查询图像的标注结果。该方法的检索精度依赖于用户提供的初始关键词，因此，在一定程度增加了用户的负担，而且还具有用户的主观性。

(2)SBIA方法