[发明专利]一种基于超图的图像检索与标注方法

说明书

本发明公开了一种基于超图的图像检索与标注方法。本发明利用超图理论，有效组织社交图像的评论关系、标注关系和视觉相似关系；利用批量、并行和缓冲技术，提升超图转移概率矩阵的计算效率；利用结点排名得分上下界估计和近似方法，提升查询效率；利用用户反馈，提高查询质量。本方法根据图像视觉特征生成图像t‑NN图并结合图像的社交关联信息，建立超图模型，计算转移概率矩阵并存储到B+树；进行并行个性化PageRank查询，依据上下界估计筛选候选点集合并进行排序；最后根据用户反馈，再次进行查询，优化查询结果。本发明能有效地组织各种多维关系，并极大地提升了转移概率矩阵的计算效率和查询效率，且查询质量好于现有方法，提供了最佳性能。

技术领域

本发明涉及超图上的Top-k查询技术，特别涉及一种基于超图的图像检索与标注方法。

背景技术

随着社交媒体和移动互联网的发展，社交图像网站提供了大量由不同用户进行文本标注的图像。社交图像往往附带多种信息，譬如视觉特征、标签和用户等，以及多种行为关系，譬如标注和评论等。对海量社交图像进行检索和标注应用非常广泛，成为数据库、数据挖掘和机器学习领域的研究热点。

图像检索是根据给定的信息，查找最相近的图像对象，根据给定的信息类型不同，又有相似图像检索和关键字图像检索等多种检索类型。图像标注是给指定图像附加语义文本信息，也即根据图像查找最相近的语义文本。超图是普通图模型的扩展，其中的超边可包含多个结点，故能够表示高维关系，更适合对复杂网络进行建模。图像检索和标注在搜索引擎和社交媒体等领域有重要的应用价值。

目前的图像检索和标注方法，一般仅对单一特征进行管理，或使用普通图对社交图像进行建模。然而，单一特征只能表示某方面的相关性，不能用来表示真实的语义关联，普通图不能够表示高维关系(比如标注和评论关系)，造成了信息缺失。一些机器学习领域的方法使用超图模型，但使用了复杂的矩阵运算进行求解，时间和存储开销巨大且不具有扩展性。

发明内容

针对上述不足，本发明提供一种基于超图的图像检索与标注方法，该方法使用超图对社交图像进行建模来表示高维关系，使用批量、并行和缓冲技术来加速超图模型构建，并使用个性化PageRank加速超图上的Top-k查询，也使用并行和近似方法进一步加速了查询，本发明既提高了查询效率也保证了查询质量。

本发明解决其技术问题采用技术方案的步骤如下：一种基于超图的图像检索与标注方法，该方法的步骤如下：

步骤(1)：使用一个基于内容的图像检索引擎对图像数据集建立t-NN图，并将各图像与其视觉特征最相似的t张图像建立联系；

步骤(2)：根据图像t-NN图和图像的社交关联信息，建立超图，计算其转移概率矩阵并存储到B+树中；

步骤(3)：用户提交查询对象集合和k值；

步骤(4)：根据用户提交的查询对象集合生成查询向量，而后在超图上进行并行的个性化PageRank查询，利用上、下界估计方法过滤超图的结点，逐步缩小PageRank查询过程中每轮迭代的候选点集合，直至得到k个结果；

步骤(5)：用户对步骤(4)得到的k个结果进行评价，生成反馈信息，再根据反馈信息调整步骤(4)中的查询向量，形成新的查询向量，再重复步骤(4)，最终获得新的查询结果并返回给用户。

进一步的，所述的步骤(1)中图像检索引擎基于度量空间SPB树索引结构，根据MPEG-7标准提取图像的视觉特征，建立SPB树，并对各图像进行t-NN查询，获得与其最相近的t个查询结果，进而建立t-NN图。

进一步的，所述的步骤(2)中超图的种类有三种：

1)以图像t-NN图中的各图像和其t-NN图像作为一种超边；

2)以用户对图像进行标注的三元组合作为一种超边；