[发明专利]基于MLL和ASCA-FR的图像字幕生成方法

摘要

本发明公开一种基于多尺度学习MLL和相邻时间节点联合注意力机制特征重建ASCA‑FR的图像字幕生成方法，主要解决现有技术中注意力模型在某时刻的输出仅考虑图像的特征集合和前一时刻的单词向量，只使用交叉熵损失函数训练网络所带来的生成字幕描述不准确、表述不流畅的问题。本发明的具体步骤如下：(1)生成自然图像测试集和训练集；(2)提取特征向量；(3)构建ASCA‑FR网络；(4)训练ASCA‑FR网络；(5)获得自然图像字幕；本发明利用MLL损失函数对构建的ASCA‑FR网络进行训练，使得生成的字幕描述准确且表述流畅。

主权项

1.一种基于多尺度学习MLL和相邻时间节点联合注意力机制特征重建ASCA‑FR的图像字幕生成方法，其特征在于，利用所构建的相邻时间节点联合注意力机制特征重建ASCA‑FR网络生成输入自然图像的字幕，利用所构建的多尺度学习MLL损失函数计算公式对ASCA‑FR网络进行训练；该方法的具体步骤包括如下：(1)生成自然图像测试集和训练集：(1a)从互联网或公开的图像数据集中随机选取至少10000张自然图像组成自然图像集合；(1b)从自然图像集合中随机选取不多于5000张自然图像，组成自然图像测试集；(1c)为自然图像集合中剩余的每一张自然图像配置英文标签字幕，删去英文标签字幕中大于L的部分，其中L表示设置的字幕中英文单词的最多个数，将删除后的标签字幕与其对应的自然图像组成自然图像训练集；(1d)设置英文结束字符为<EOS>；(1e)将自然图像训练集中每个英文标签字幕中的英文单词与设置的结束字符，组成一个单词集合；(2)提取特征向量：将自然图像集合中的每张自然图像，依次输入到残差网络中，得到残差网络输出的每张自然图像的M个特征向量，其中，M表示残差网络设置的输出特征映射图的总数；(3)构建ASCA‑FR网络：(3a)搭建一个5层的相邻时间节点联合注意力机制特征重建ASCA‑FR网络，其结构依次为：第一个长短期记忆网络LSTM→联合注意力模型→第二个长短期记忆网络LSTM→Softmax层→第三个长短期记忆网络LSTM；(3b)将第二个长短期记忆网络LSTM在t‑1时刻的输出隐藏状态向量，作为该时刻Softmax层的输入向量，其中t表示长短期记忆网络LSTM的循环时间节点，t的取值范围是1≤t≤T，其中T表示长短期记忆网络LSTM的循环总次数，T的取值范围是1≤T≤L；(3c)将Softmax层t‑1时刻长度为W的输出概率分布向量中的最大取值元素的元素值设置为1，其余元素值设置为0，得到t‑1时刻的单词向量，其中W表示Softmax层的输出结点总数；(3d)将第二个长短期记忆网络LSTM在t‑1时刻的输出隐藏状态向量、t‑1时刻的生成单词嵌入向量以及平均特征向量三者串联在一起作为t时刻第一个长短期记忆网络LSTM的输入向量；(3e)将第一个长短期记忆网络LSTM在t时刻的输出隐藏状态向量和联合注意力模型在时刻t的注意力向量串联起来，作为在t时刻第二个长短期记忆网络LSTM的输入向量；(3f)将第一个长短期记忆网络LSTM在t时刻的输出隐藏状态向量和第二个长短期记忆网络LSTM在t时刻的输出隐藏状态向量串联起来作为在t时刻第三个长短期记忆网络LSTM的输入向量；(4)训练ASCA‑FR网络：(4a)设置Softmax层的输出结点总数与单词集合的长度相等；(4b)将自然图像训练集中每张自然图像的M个特征向量，依次输入到ASCA‑FR网络中；(4c)利用下述的多尺度学习MLL损失函数，计算ASCA‑FR网络的损失值：其中，L₁表示ASCA‑FR网络的损失值，∑表示向量相加操作，ln表示以自然常数e为底的对数操作，p_t表示t时刻Softmax层的输出概率分布向量，表示第三个长短期记忆网络LSTM在t时刻的输出隐藏状态向量，|| ||₂表示2‑范数操作；(4d)使用随机梯度下降法，训练ASCA‑FR网络，得到训练好的ASCA‑FR网络；(5)获得自然图像字幕：(5a)将单词集合中的所有单词从小到大进行编号；(5b)将自然图像测试集中每张自然图像的M个特征向量，依次输入到训练好的ASCA‑FR网络中，取出单词集合中编号与t时刻单词向量中元素值为1的索引相同的英文单词，将该英文单词作为t时刻的输出单词，其中，t的取值范围是1≤t≤T；(5c)按照t从小到大的顺序将输出单词连接成自然图像字幕。