[发明专利]一种用于图像或视频搜索重排序的方法

说明书

技术领域

本发明涉及面向多媒体信息检索领域，特别涉及一种用于图像或视频搜索重排序的方法。 

背景技术

随着信息技术的快速发展，图像和视频等多媒体数据大量涌现，成为人们获取信息的重要途径之一。图像或视频搜索重排序是根据初始的基于文本搜索结果结合其它的可利用的辅助信息训练排序模型，利用新的排序模型对检索结果重新排序的过程，其目的是为了改善检索的准确性以提高用户体验和满意度。 

利用标注信息进行图像或视频的重排序是目前主要的方法，其中标注信息的获取有多种途径，例如利用人工标注、伪相关反馈、隐相关反馈等。 

发明人在实现本发明的过程中，发现现有技术中存在以下不足： 

现有技术中的基于标注的图像或视频搜索重排序方法通常对所提取出来的高维特征向量进行无监督的维数约简或者将图像或视频的相关性等级信息简单的作为类别标号信息进行有监督的维数约简，然而在图像或视频搜索重排序中图像或视频的类别标号并不能充分准确地描述图像与图像之间，或视频与视频之间的关系，进而使得训练出来的排序模型不够精确，使得检索精度较低，无法满足实际应用中的需要。 

发明内容

本发明提供了一种用于图像或视频搜索重排序的方法，本发明提高了检索的精度，满足了实际应用中的多种需要，详见下文描述： 

一种用于图像或视频搜索重排序的方法，所述方法包括以下步骤： 

(1)搜索引擎中输入查询关键词进行搜索，获取基于文本的初始搜索结果S； 

(2)根据所述初始搜索结果S提取不同模态下的特征向量，获取特征向量集合； 

(3)根据所述初始搜索结果S对样本进行标注，获取标注后样本集合； 

(4)对所述特征向量集合、所述标注后样本集合进行处理，获取新特征向量； 

(5)将标注后样本集合的新特征向量作为训练集，获取排序模型； 

(6)通过所述排序模型对特征向量集合的新特征向量进行排序，获取重排序后的最终结果。 

所述根据所述初始搜索结果S对样本进行标注，获取标注后样本集合具体为： 

在所述初始搜索结果S中采用伪相关反馈或者人工标注等方法为每个相关性等级A、B、C标注k个样本，组成S_A、S_B、S_C三个标注样本集合，其余的为未标注样本集合。 

所述对所述特征向量集合、所述标注后样本集合进行处理，获取新特征向量具体为： 

1)对特征向量集合进行中心化处理，获取中心化后特征向量集合； 

2)通过三个相关性等级A、B、C构建6个n×n的零矩阵C_AA、C_BB、C_CC、C_AC、C_AB、C_BC，对6个零矩阵进行赋值获取约束矩阵H； 

3)通过新特征矩阵X′、Y′和所述约束矩阵H构成同模态矩阵C_xx、C_yy与模态间矩阵 

4)通过所述模态矩阵C_xx、C_yy与所述模态间矩阵 获取矩阵Z，对所述矩阵Z进行奇异值分解，获取矩阵U和V；