[发明专利]基于视觉与语义注意力相结合策略的图像描述方法及系统

说明书

本发明公开了基于视觉与语义注意力相结合策略的图像描述方法及系统，步骤：利用卷积神经网络CNN从待生成图像描述的图像中提取图像特征；利用图像的视觉注意力模型对图像特征进行处理，将视觉注意力模型处理过的图像特征送入第一LSTM网络产生单词，然后利用语义注意力模型对产生的单词和预定义的标签进行处理得到语义信息，然后利用第二LSTM网络对语义进行处理得到语义注意力模型生成的单词，重复上述步骤，最后将所有得到的单词进行串联组合，产生图像描述；本发明的方法不仅利用了输入图像的概述，而且还丰富了视觉语义方面的信息，让生成的句子更能够真实的反应图像的内容。

技术领域

本发明涉计算机视觉技术和自然语言处理技术，特别是涉及基于视觉与语义注意力相结合策略的图像描述方法及系统。

背景技术

关于图像描述的研究在机器学习和计算机视觉领域备受关注，这项研究之所以意义重大不仅仅是因为它具有重要的实际应用，最重要的是它还是计算机视觉领域中关于图像理解的一项巨大的挑战。生成对图像有意义的语言描述需要计算机对图像具有一定的理解能力，这远比图像分类和对象检测的任务要复杂的多，图像描述成功的将人工智能领域的两个主要技术自然语言处理和计算机视觉相结合在一起。

现有的图像描述方法有两种:自上而下，自下而上。自上而下是从图像的“要点”开始，并将其转化为单词。自下而上则是先从图像入手提取关于图像的单词，然后利用提取的单词来生成描述。语言模型在两种模式中被使用来形成连贯的句子。当前效果比较好的是自上而下的方法，它是基于循环神经网络的一种从图像到句子的端到端的描述，并且这种方法可以从训练数据中学习循环神经网络的所有参数。自上而下的方法的局限性在于它很难看到在图像描述方面很重要的细节问题。自下而上的方法则不会受到此问题的影响。

视觉注意力是人类视觉系统中的重要机制，这是一个反馈的过程，它可以将视觉皮层的早期阶段的表示选择性地映射到场景中特定区域这种选择性映射允许大脑在低级图像属性的指导下将计算资源聚焦在对象上。视觉注意机制也在偏向语义的图像的自然语言描述中起着重要的作用。由于在生成句子的过程中当前时刻生成的单词对于上一时刻生成的词的依赖性比较大，当上一时刻生成的单词不准确时，会影响到整个句子的结构与准确性。

发明内容

为了解决现有技术的不足，本发明提供了基于视觉与语义注意力相结合策略的图像描述方法，提出了新的注意力模型，将自上而下与自下而上的方法有效的串联在一起，具体来讲，本发明首先利用图像的视觉注意力模型产生语义，然后将生成的语义与利用图像及对应的描述检测语义概念或属性作为语义注意模型的候选者，最后通过语义模型来预测新词。

基于视觉与语义注意力相结合策略的图像描述方法，包括：

步骤(1)：利用卷积神经网络CNN从待生成图像描述的图像中提取图像特征V；

步骤(2)：建立视觉注意力模型，判断是否是首次执行，若是，则将步骤(1)的图像特征V输入到视觉注意力模型中，得到经过视觉注意力模型处理后的图像特征V_att；若不是，则将步骤(1)的图像特征V和t-1时刻语义注意力模型生成的单词W_t-1输入到视觉注意力模型中，得到经过视觉注意力模型处理后的图像特征V_att；

步骤(3)：建立第一个LSTM网络，称之为LSTM₁网络，LSTM₁网络是指供视觉注意力模型使用的LSTM网络；将LSTM₁网络的t-1时刻的隐藏层状态和经过视觉注意力模型处理以后的图像特征V_att送入LSTM₁网络，得到视觉注意力模型在t时刻产生的单词W_t'；

步骤(4)：建立语义注意力模型，将视觉注意力模型在t时刻产生的单词W_t'与预定义的标签A一起输入到语义注意力模型中；得到语义注意力模型在t时刻生成的语义信息E_t；