[发明专利]基于深度学习的跨模态主题相关性建模方法

权利要求书

1.一种基于深度学习的跨模态主题相关性建模方法，其特征在于具体步骤如下：

(1)数据预处理：从多媒体数据集中采集不同模态的数据图像，得到图像和图像描述数据，整理图像标注数据集中不常出现或者无用的标注词；

(2)提取多模态深度特征：利用深度学习方法来提取图像的视觉特征与图像描述的语义特征；具体来说，分别利用Region-CNN模型和Skip-gram模型来抽取图像的区域特征和文本的词汇特征；其中，Region-CNN首先检测图像中有代表性的区域候选集，之后利用预训练的卷积神经网络来对抽取相应区域所对应的特征；Skip-gram模型则是利用文本词汇与词汇之间的共现信息直接训练得到词汇的特征向量表示；

(3)构建深度词袋模型：首先采用聚类算法K-means将步骤(2)中所得到的图像区域特征和文本词汇特征进行聚类，得到限定维度的深度视觉词典和深度文本词典，进而将相应图像中所有的区域特征映射到相应的视觉词典，从而构建得到深度视觉词袋模型；相似地，所有的文本中的词汇也映射到文本词典得到深度文本词袋模型；

(4)多模态主题生成：利用潜在狄利克雷模型的假设来模拟整个多模态数据集的生成过程，并且推导得到文本集合和图像集背后所隐藏的主题分布特征，充分利用词汇之间的共现信息；

(5)融合跨模态主题相关性分析的关系主题模型建模：构建相应的关系主题模型，即在构建主题模型的同时考虑不同模态之间主题特征的相关性，将步骤(4)中得到的多模态主题特征作为初始值，同时利用图像和文本之间的关联信息来计算图像和文本之间的相关性，利用计算得到的相关性来更新多模态文档的主题信息，从而交叉迭代地进行相关性计算与主题分布更新进而构建得到最终的关系主题模型；

(6)基于主题相关性的跨媒体信息检索：将得到的跨模态主题相关性应用到跨媒体信息检索中，分别是给定某种模态的查询，利用相关性计算得到与该查询最相关的其他模态的数据。

2.根据权利要求1所述的方法，其特征在于：步骤(2)中，所述分别利用Region-CNN和Skip-gram模型来抽取图像的区域特征和文本的词汇特征，具体过程如下：

给定图像，Region-CNN首先利用选择搜索的方法从图像选择出物体可能出现的位置作为候选集，以region的形式存在；之后，再针对每个区域提取CNN特征；在具体实现上，Region-CNN将每个图像区域转换成为固定的像素尺寸227*227，用于提取特征的卷积网络由5个卷积层和2个完全连接层构成；

给定文本文档，利用Skip-gram模型训练得到文本文档中出现的每一个词对应的特征向量；用TD表示整个多模态文档数据集合的文本描述部分，TW是在TD中出现过的所有的文本词汇，TV是文本词汇对应的词典，对于TW中的每一个词汇tw，iv_tw和ov_tw是针对tw的输入特征向量和输出特征向量，Context(tw)是词tw在其上下文中出现的词汇；将上下文对应的窗口大小设置为5，将整个文本数据集所对应的所有输入向量和输出向量统一用一个长参数向量来表示W∈R^2*|TV|*dim,其中dim是输入向量和输出向量的维度；整个Skip-gram模型的目标函数如下描述：

利用负样本采样方法来近似计算logP(tw_j|tw_i),其计算公式如下所示：

其中，σ(·)是sigmoid函数，m是负样本的数量，每一个负样本都是从基于词频的噪音分布P(tw)所生成的。