[发明专利]基于场景图更新与特征拼接的图像字幕生成方法

权利要求书

1.基于场景图更新与特征拼接的图像字幕生成方法，其特征在于，所述方法包括以下步骤：

S1.构建特征拼接网络。

S2.构建场景图更新模块。

S3.结合S1中的特征拼接网络、S2中的场景图更新模块构建基于场景图更新与特征拼接的图像字幕生成网络架构。

S4.基于场景图更新与特征拼接的图像字幕生成网络的训练和字幕生成。

2.根据权利要求1所述的构建特征拼接网络，其特征在于，所述S1的具体过程为：

首先使用在ImageNet上预训练的ResNet152来提取全局图像特征。本发明的特征拼接网络采用两层LSTM结构，包括注意力LSTM和语言LSTM。其中注意力LSTM表示视觉注意LSTM,作用是整合视觉信息以及隐藏层信息,并将自身计算得到的隐藏层信息作为模型注意力机制的一部分输入；语言LSTM表示用来生成语言的LSTM,实现顺序地预测单词生成的功能。为了充分利用视觉信息和单词嵌入信息指导句子的生成，本发明将全局图像编码嵌入、已生成的单词嵌入注入到语言LSTM中。

注意力LSTM在每个时间步中会接收输入图像的特征编码嵌入、词嵌入向量以及之前时间步的信息,注意力LSTM将以上输入的信息进行整合得到LSTM的隐藏状态,然后将输出的隐藏层信息作为注意力机制输入的一部分,计算得到上下文特征。最后,计算得出的上下文信息和注意力LSTM的隐藏状态一起作为模型语言LSTM的输入。另外,为了充分利用原始信息,本发明将全局图像编码嵌入已生成的单词嵌入w_t-1与经过注意力LSTM所得的特征拼接后得到新特征作为语言LSTM的输入,得到语言LSTM的输出。最后,在t时刻要生成的单词y_t由模型利用语言LSTM的隐藏状态预测得到,其具体公式如下：

其中是语言LSTM前一时刻的输出,是注意力LSTM前一时刻的输出,Attn为注意力操作,上下文向量z_t经过Attn操作后得到。w_t-1是已生成单词的嵌入,是全局编码嵌入,W_u是参数。在时间步长t处单词分布的概率如下：

其中W_p是学习权重,b_p是偏差。句子概率分布计算公式如下：

。