[发明专利]基于知识迁移的多模态循环神经网络的图像文本描述方法

权利要求书

1.一种基于知识迁移的多模态循环神经网络的图像文本描述方法，其特征在于，包括以下步骤：

S1：在服务器中训练图像语义分类器；

S2：在服务器中训练语言模型；

S3：在服务器中预训练文本描述生成模型并生成描述句子；

所述步骤S1的具体过程如下：

S11：采集多种图像数据集：下载现成的数据集，包括ImageNet和MSCOCO，由于MSCOCO是一种图像与文本描述成对匹配的数据集，取其图像部分；

S12：使用卷积神经网络，对采集的数据集中的每一张图片提取相应的图像特征f_I；

S13：制作一个标签集，选取1000个最常见的单词即覆盖了90％图像与文本描述成对匹配的训练集中使用到的单词，以及加上ImageNet图像分类中没有出现在成对匹配训练集中的对象的词，将两者组成需要用到的标签词库；

S14：利用上个步骤制作好的标签词库，对每张图片采用多示例学习的方法为其添加上多个视觉概念标签：

多示例学习中将各种多示例的集合定义为“包”，正包指的是包中至少有一个正示例，否则定义为负包，在这里把每张图片定义成一个包；

对于MSCOCO数据集中每一张图片，根据其数据集中五个参考文本描述去给每个图像设定相对应的标签，如果一个图像中对应的五个参考文本描述中的任意一个提到了一个标签，则认为对应的图片是一个正包，否则认为该图片是负包；对于ImageNet数据集中的每一张图片，以其本来的标签作为单独的标签。

2.根据权利要求1所述的基于知识迁移的多模态循环神经网络的图像文本描述方法，其特征在于，所述步骤S2的具体过程如下：

S21：语言模型采用三种纯文本数据集去训练即MSCOCO中的所有文本描述、Flicker1M，Flicker30K，Pascal1K中的图像文本描述、英国国家语料库和维基百科中的文本数据；

S22：将文本数据集中的单词转变成向量的形式；

S23：将文本的上一个单词作为输入，输入到一个长短期记忆模型中，让LSTM单元学习语言中的递归结构；

S24：同时将单词向量以及LSTM的输出组合起来，输出模型需要的语言特征f_L。

3.根据权利要求2所述的基于知识迁移的多模态循环神经网络的图像文本描述方法，其特征在于，所述步骤S3的具体过程如下：

S31：用调整的卷积神经网络提取MSCOCO中的图像特征；

S32：将独立训练好的语言模型特征f_L和S31的图像特征整合嵌入到一个含有多模态单元的循环神经网络之中；

S33：把MSCOCO数据迭代输入，预训练的文本描述生成模型；

S34：将图像语义分类器中得到的图像特征f_I嵌入到多模态单元当中；

S35：将成对匹配训练集中的一些对象的概率预测权重矩阵转移到概念相似的非成对匹配训练集中的对象中即当语义分类器判定非成对匹配数据集中的一个对象与成对匹配训练集中的某个对象相似时，令它们的预测权重矩阵相同；

S36：同时要令两种相似对象预测的情况要独立，此时增加一个判定条件，对于根据图像特征的生成的权重矩阵要结合语义分类器来决定，对于bus和car，若语义分类器预测该图像为bus，则根据图像特征预测生成car的权重矩阵，使其为预测的概率为0，反之亦然；

S37：将验证集中的图片输入到图像文本描述生成模型当中，通过训练好的模型参数得到单词向量以及它们对应的概率；

S38：选取概率最高的单词作为句子的首个单词；

S39：将第一个单词输入到语言模型中，经过语言模型中的LSTM计算得出的特征结合f_L，再次生成一系列的单词向量以及对应的概率；

S310：选取概率最高的作为句子的第二个单词；

S311：循环重复S39和S310的工作，直至模型输出一个句子结束标志。

4.根据权利要求3所述的基于知识迁移的多模态循环神经网络的图像文本描述方法，其特征在于，所述步骤S13中制作的标签集是结合图像与文本描述成对匹配训练集的词和ImageNet图像分类中没有出现在成对匹配训练集中的对象的词。