[发明专利]一种基于主题模型的跨模态检索方法

权利要求书

1.一种基于主题模型的跨模态检索方法，其特征在于包括如下步骤：

1)对数据库中各种类型模态数据提取特征和记录标签；

2)构建基于主题的跨模态检索图模型，建立不同模态数据所包含主题之间的相关关系，同时能利用跨模态数据所具有的标签信息学习不同数据主题间的差异信息，最终进行跨模态之间相似性度量，实现跨模态检索；

3)采用坍缩吉布斯采样方法求解基于主题的跨模态检索图模型；

4)用户提交一种类型模态的数据，并提取特征后，利用跨模态检索模型返回与之相关的另外一种类型模态数据；

5)利用跨模态数据的真实对应信息和标签信息，对跨模态检索模型同时从对应性和区别性两方面来进行评价。

2.根据权利要求1所述的一种基于主题模型的跨模态检索方法，其特征在于，所述的步骤1)包括：

1)对数据库内所有的文本模态数据进行词性标注，去除非名词单词，保留文本中名词，将数据库中出现过的所有单词构成字典，统计字典中单词出现在每个文本中次数，用字典中单词出现的次数作为每个文本数据的表达；

2)对数据库内所有其他类型模态的数据提取底层特征作为单词，并进行聚类，用聚类中心点代表底层特征，形成该模态数据的字典；统计字典中每个单词出现在该模态数据中的次数，用字典中单词出现的次数作为每个模态数据的表达；

3)对数据库中不同类型模态数据，统计它们的标签信息，即记录每一个模态数据所属于的类别。

3.根据权利要求1所述的一种基于主题模型的跨模态检索方法，其特征在于，所述的步骤2)包括：

1)对于具有相关关系的不同模态数据，它们之间的相似性强弱通过其主题比例分布度量如下：

假设π_i和π_j是具有相关关系的两种不同模态数据的主题比例分布，这两个不同模态数据之间的相似性通过定义在其主题空间的势函数来计算，势函数的定义如公式(1)所示，

Ψ(π_i,π_j)＝exp(-λf(π_i,π_j))   (1)

其中λ是一个非负缩放比例参数，f(π_i,π_j)是对称KL-divergence距离，定义为f(πi,πj)=12(DKL(πi||πj)+DKL(πj||πi))=12Σk=1K(πiklogπikπjk+πjklogπjkπik),]]>其中，K是π_i和π_j的维度，即主题数目；

2)利用跨模态数据所具有的标签信息学习不同数据主题间的差异信息，由于相互关联的不同模态数据组成的跨模态文档具有一个共同的标签，因此通过跨模态文档经验主题频率向量采用softmax函数回归推理得到标签信息，计算如公式(2)所示，跨模态文档的经验主题频率由其所包含各种类型模态数据的经验主题频率拼接而成:

cd=softmax(z‾d,η)---(2)]]>

其中，为跨模态文档d的经验主题频率向量，M为跨模态文档d所包含的模态个数，为模态m所对应数据的经验主题频率，softmax函数的表达式为p(c|z‾d,η)=exp(ηcTz‾d)Σl=1Cexp(ηlTz‾d).]]>