[发明专利]一种跨媒体检索方法

摘要

本发明公布了一种新的跨媒体检索方法，利用VGG提出的卷积神经网络VGG net提取图像特征，将VGG卷积神经网络中的第七层全连接层fc7通过ReLU激活函数之后的4096维特征作为图像特征；利用基于Word2vec的Fisher Vector提取文本特征，通过逻辑回归的方法对异构图像、文本特征进行语义匹配，通过基于逻辑回归的语义匹配方法找到图像、文本这两种异构特征之间的关联，从而实现跨媒体检索；本发明的特征提取方法能有效地表示图像和文本的深层语义，可提高跨媒体检索的准确度，从而大幅度提升跨媒体检索效果。

主权项

1.一种跨媒体检索方法，利用VGG提出的卷积神经网络提取图像特征，利用基于Word2vec的Fisher Vector提取文本特征，通过逻辑回归的方法对异构图像特征和文本特征进行语义匹配，从而实现跨媒体检索；包括如下步骤：1)收集含有类别标签的跨媒体检索数据集，设为D＝{D₁，D₂，...，D_n}，n表示数据集的大小；所述跨媒体检索数据集中数据的类型包括图像和文本两种媒体类型，表示为图像‑文本对D_i，D_i∈D，其中表示图像的原始数据，表示文本的原始数据；类别标签设为L，L＝[l₁，l₂，...，l_n]，其中l_i∈[1，2，..，C]，C为类别的数目，l_i表示第i对图像和文本所属的类别；将所述跨媒体检索数据集划分为训练数据和测试数据；2)对于数据集D中的所有图像数据D^I，其中使用VGG卷积神经网络方法提取得到图像特征，将VGG卷积神经网络中的第七层全连接层fc7通过ReLU激活函数之后的4096维特征，记作I＝{I₁，I₂，...，I_n}，其中I_j∈R⁴⁰⁹⁶，j∈[1，n]，作为图像特征；3)对于数据集中的文本特征数据D^T，其中使用基于Word2vec的Fisher Vector方法提取文本特征；具体包括如下过程：31)将原始文本数据D^T，其中转换成词向量集合W＝{W₁，W₂，...，W_n}，W为D^T包含的单词的词向量集合；32)将单词记作w，单词w所对应的词向量为f_word2vec(w)；对于有f_word2vec(w)∈W_i，i∈[1，n]，即其中w_i，j∈R^dw，j∈[1，b_i]，w_i，j为包含单词所对应的词向量，dw为词向量的维度，b_i为中包含的单词个数；33)用X＝{x1，x2，...，xnw}表示一个文本的词向量集合，nw为词向量个数；令混合高斯模型GMM的参数为λ，λ＝{ωi，μi，∑i，i＝1..G}，其中ωi，μi，∑i分别表示混合高斯模型GMM中每个高斯函数的权重、均值向量和协方差矩阵，G表示混合高斯模型GMM中高斯函数的个数；GMM函数定义为式1：其中，p(xt|λ)表示对于向量xt(t∈[1，nw])，由GMM产生的概率值，表示为式2：对权重ωi设置总和为1约束，表示为式3：其中，pi(x|λ)表示GMM中的第i个高斯函数，由式4给出：其中，dw是向量的维度，|∑i|表示求∑i的行列式；用γt(i)来表示向量xt由第i个高斯函数产生的概率，表示为式5：34)对混合高斯模型GMM的参数求偏导即得到Fisher Vector；所述Fisher Vector是将所有参数的求导结果连接组成的向量；所述混合高斯模型GMM中高斯函数个数为G，向量维度为dw，所述Fisher Vector的维度为(2×dw+1)×G‑1；权重ω的自由度为G‑1；35)将W＝{W₁，W₂，...，W_n}中的每个文本词向量集合Wi代入式1中的文本的词向量集合X，求得每个文本的FisherVector，记作T＝{T₁，T₂，...，T_n}，T_i∈R^{(2×dw+1)×G‑1}，i∈[1，n]，其中，T_i表示由第i个文本计算出来的Fisher Vector；4)使用执行步骤2)和步骤3)得到的训练数据中的图像特征和文本特征对基于逻辑回归的语义匹配模型进行训练，将文本特征T转换成了文本语义特征Π^T，i∈[1，n]，c是类别的个数，也是文本语义特征的维数；将图像特征I_i转换成后验概率组成的语义特征，后验概率为k∈[1，C]，表示图像Ii属于类别k的概率；5)利用步骤4)训练好的语义匹配模型，使用步骤2)和步骤3)得到的测试数据的图像特征和文本特征，针对一幅图片或文本进行测试，得到相关的文本或图片，即为跨媒体检索结果。