[发明专利]一种基于图像和文本相关性挖掘的Web图像聚类方法

说明书

技术领域

本发明涉及多媒体检索，尤其涉及一种基于图像和文本相关性挖掘的Web图像聚类方法。

背景技术

在Web上，使用关键字搜索图像仍然是有效的常用检索手段，如商业搜索引擎Google和AltaVista的图片搜索。在Web图像检索中，用户提交的关键字往往是视觉多义词，这类单词包含多个不同视觉含义。例如单词“mouse”可表示“computer mouse”、“mouse animal”和“Mickey mouse”等多个主题。因此，用这些视觉多义词查询图像，所返回的图像检索结果会包含多个主题，并且不同主题的图像混合在一起。这就需要提供一种检索后处理过程来对表达不同主题的图像进行归类。近来，很多研究者提出了Web图像聚类方法来解决这个问题。由于图像的底层特征和高层语义之间存在“语义鸿沟”，这些聚类方法往往同时利用了被聚类图像集合所包含的视觉、文本和链接等多模态信息。属于不同特征空间的多模态信息是相互关联的，挖掘和利用这些相关性关联以进行多模态信息融合的学习是近期机器学习研究的一个重点课题，代表性工作有多视角学习和迁移学习。前者同时利用同一数据的多种特征空间表示进行学习，而后者研究训练数据和测试数据有不同分布或属于不同特征空间的学习问题。本发明挖掘文本与图像两种模态信息的相关性关联，通过图模型对其关联关系进行建模，并利用图聚类算法对Web图像进行聚类。

Web图像通常与其伴随文本共存于HTML页面之中，伴随文本以及一些文本标签描述了图像的语义内容。在Web图像检索和标注领域，很多研究利用了图像和文本之间的相关性关联。但是，伴随文本中不同单词对图像语义描述所做贡献不同。对于文本中多个单词，有的单词能够找到合适的图像来形象地描述该单词的含义，例如“chairs”；有的单词比较抽象，则很难找到一个合适图像来形象地描述该单词的含义，例如“statistics”。从形象思维的角度，这种差异反映了单词和图像之间存在不同语义关联，也反映单词具有“可见度”属性。所谓可见度即某个单词可被视觉感知的概率。作为一种文本处理技术，TF-IDF并不能直接度量单词和图像之间的相关性，传统通过TF-IDF方法衡量伴随文本中单词对图像的重要性一定程度上忽略了图像本身具有的视觉特征。因此，本发明提出一种单词可见度模型，并将该模型与TF-IDF方法结合来定义一种新的单词和图像相关性关联。

另一方面，对于包含多个主题的Web图像集合，其伴随文本中的隐含主题信息间接反映了图像间的主题相关性。为了将这种主题相关性引入Web图像聚类，本发明利用隐含狄利克雷分配进行学习以得到分布在每个单词上的隐含主题概率，通过定义的主题相关度函数计算单词和单词主题相关性。隐含狄利克雷分配模型，即Latent Dirichlet Allocation，是近年来提出的一种能提取文本隐含主题的非监督学习模型，作为一种生成概率模型，隐含狄利克雷分配建模在一个离散数据的集合上，如文本数据集。在文本表示领域，隐含狄利克雷分配是主题模型的典型代表，能够对文本数据包含的主题信息进行建模。

因此，本发明通过挖掘图像和伴随文本之间的相关性关联得到两种关联关系：单词和图像相关性关联以及单词和单词主题相关性关联，这种交叉关联可用图模型进行建模。传统的图模型只能对单一类型结点及结点间的同构链接进行建模。二部图能够对两种类型结点进行建模，但是该图模型只包含不同类型结点之间的异构链接。由于本发明涉及的两种关联关系既包含单词和图像两类不同结点之间的异构链接，又包含单词和单词同类型结点之间的同构链接，因此提出用更一般的复杂图模型对这两种关联关系进行建模，并应用复杂图聚类算法对图像进行聚类。

发明内容

本发明的目的是为了对Web图像检索结果进行聚类，使得相同主题图像聚成一类，以方便用户进行检索，提出一种基于图像和文本相关性挖掘的Web图像聚类方法。

基于图像和文本相关性挖掘的Web图像聚类方法包括如下步骤：

(1)根据用户查询提取Google图片搜索的检索结果中的图像及其伴随文本，提取伴随文本中的名词构成词汇表；

(2)对伴随文本进行文本处理并提取文本特征；

(3)计算词汇表中每个单词的可见度；

(4)将单词的可见度与TF-IDF方法集成以计算单词和图像相关性关联；

(5)根据主题模型对伴随文本集合进行分析，提取隐含主题概率分布以计算词汇表中任意两个单词间的主题相关度；

(6)利用复杂图模型对单词和图像相关性关联以及单词和单词主题相关性关联进行建模；