[发明专利]一种基于异构图具有自反馈特性的半监督图像重排序方法

权利要求书

1.一种基于异构图具有自反馈特性的半监督图像重排序方法，其特征是，该方法的步骤如下：

步骤（1）：对需要重排序的图像，提取文本特征和视觉特征；

步骤（2）：使用图像的文本特征和视觉特征来构建异构图，计算模态内相似性和模态间相似性作为异构图对应节点之间的权值；

步骤（3）：在异构图上使用自反馈的半监督学习算法，计算得到图像文本特征排序得分和视觉特征排序得分；

步骤（4）：根据步骤（3）中计算的图像文本特征得分和视觉特征得分，计算图像排序得分，按照得分由高到低，对图像进行重排序。

2.如权利要求1所述的一种基于异构图具有自反馈特性的半监督图像重排序方法，其特征是，所述步骤（1）中，

提取视觉特征的方法为：对每幅图像提取SIFT特征，然后将图像表示为一个词袋；

提取图像的文本特征的方法为：对每幅图像收集图像关联文本，利用话题模型LDA将所述图像关联文本聚成多个潜在主题，然后将图像的文本信息也表示为一个词袋。

3.如权利要求1所述的一种基于异构图具有自反馈特性的半监督图像重排序方法，其特征是，所述步骤（2）中，构建异构图的过程如下：

首先构建一个多边图，所述多边图中每一个节点为一副图像，包含图像的文本特征和视觉特征，多边图中任意两个节点之间包含4条边，所述两个节点包含第一节点和第二节点，所述4条边分别为两个节点的视觉特征之间的边、两个节点的文本特征之间的边、第一节点的视觉特征与第二节点的文本特征之间的边和第一节点的文本特征与第二节点的视觉特征之间的边；

其中，两个节点的文本特征之间的边和两个节点的视觉特征之间的边用于刻画模态内相似性，第一节点的视觉特征与第二节点的文本特征之间的边和第一节点的文本特征与第二节点的视觉特征之间的边用于刻画模态间相似性；

然后，将多边图中的每个节点分为文本特征节点和视觉特征节点两种类型，节点之间相连，权重为对应的模态内相似性或是模态间相似性，从而得到异构图。

4.如权利要求1所述的一种基于异构图具有自反馈特性的半监督图像重排序方法，其特征是，所述步骤（3）的具体步骤如下：

步骤（31）：使用每个节点的图像的文本特征和视觉特征的排序得分f^*来更新初始的排序得分向量y；

步骤（32）：使用每个节点的图像的文本特征和视觉特征的排序得分f^*来更新相似度矩阵S中模态间的相似度；

步骤（33）：使用步骤（32）中得到的相似度矩阵S来更新拉普拉斯矩阵L；

步骤（34）：如果平均精度大于当前最优精度，则把该平均精度赋值给当前最优精度，反馈继续，跳到重排序算法的步骤（1）继续进行；否则，反馈停止，重排序算法终止。