[发明专利]融合视觉注意力和语义注意力的图像字幕生成方法及系统

说明书

本发明公开了融合视觉注意力和语义注意力的图像字幕生成方法及系统，通过卷积神经网络从每个待生成字幕的图像中提取图像特征，得到图像特征集合；建立LSTM模型，将每个待生成字幕的图像对应的预先标注文本描述传入LSTM模型，得到时序信息；结合图像特征集合和时序信息，生成视觉注意力模型；结合图像特征集合、时序信息和前一时序的单词，生成语义注意力模型；根据视觉注意力模型和语义注意力模型，生成自动平衡策略模型；根据图像特征集合和待生成字幕的图像对应的文本，建立gLSTM模型；根据gLSTM模型和自动平衡策略模型，利用多层感知机模型MLP生成待生成字幕的图像对应的单词；将得到的所有单词进行串联组合，产生字幕。

技术领域

本发明涉及图像生成字幕技术领域，特别是涉及融合视觉注意力和语义注意力的图像字幕生成方法及系统。

背景技术

在计算机视觉领域，图像字幕生成已经成为了一个极具挑战性的任务。最近的尝试主要集中利用机器翻译中的注意力模型。基于注意力模型的方法生成图像字幕主要是由编码-解码框架发展而来。这个框架将CNN编码器编码的视觉特征转换为RNN解码的字幕。基于注意力模型的要点是把对应于某个生成单词的空间特征突出的显示出来。

在图像字幕生成领域，注意力模型被证明是非常有效的。但它仍然面临以下两个问题：

一方面，它失去了典型的视觉信息的踪迹。生成的句子容易偏离原始图像内容。

另一方面，上下文向量被证明与当前的隐藏状态有关。然而，传统的注意力模型使用上一个隐藏状态作为指导。

最近，C.Xiong,J.Lu,D.Parikh,R.Socher.,Knowing when to look:Adap-285tive attention via a visual sentinel for image captioning.,arXiv preprintarXiv:1612.01887,2016.成功的利用当前隐藏状态进行了图像字幕的生成。然而，它的方法存在一个明显的缺点：原始的视觉信息没有被充分考虑到每一个时间步骤上，这样导致了生成的字幕缺乏个性化。

一个高质量的图像字幕生成器不仅要反映图像中呈现的内容，还要考虑是否符合语法规则。基于注意力模型永远只考虑视觉特征的内容，无论下一个生成的单词是什么。这样的模型也许对名词有很好的效果(例如“dog”,“filed”)，但它对功能性词汇几乎没有作用(例如“the”,“through”)。

图1(a)显示了软注意模型在视觉特征上的权重分布情况。当产生不同的单词时，注意力量向量的方差存在很大差异。大的方差表示下一个单词与视觉区域有明确的对应关系。相反，小的方差意味着机器对于识别下一个注意力区域存在很大困难。这种现象说明生成的标题中的所有单词并不全部依赖于视觉信息，例如“the”和“through”。事实上，语义语境在产生上述两个词时起着重要的作用。在图像字幕中应考虑视觉注意力和语义注意力。C.Xiong,J.Lu,D.Parikh,R.Socher.,Knowing when to look:Adap-285tive attentionvia a visual sentinel for image captioning.,arXiv preprint arXiv:1612.01887,2016.使用存储单元中保存的信息作为语义信息。利用最后生成的单词进行语义分析对于图像字幕来就灵活一些。

发明内容

为了解决现有技术的不足，本发明提供了一种融合视觉注意力和语义注意力的图像字幕生成方法，其具有给出的图像字幕更加贴合实际的效果；利用改进的LSTM(即gLSTM)对于生成字幕是很有帮助的。

一种融合视觉注意力和语义注意力的图像字幕生成方法，包括：

步骤(1)：通过卷积神经网络从每个待生成字幕的图像中提取图像特征，得到图像特征集合；