[发明专利]基于多级注意力的细粒度图像描述方法及系统

说明书

本公开提供了一种基于多级注意力的细粒度图像描述方法及系统。其中，基于多级注意力的细粒度图像描述方法包括：利用视觉注意力机制融合图像的全局特征和局部细粒度特征，得到图像的第一融合特征；将融合特征输入至多标签分类网络中，生成所有标签的分布，得到图像标签的视觉注意信息和语义注意信息；利用注意力机制将图像的第一融合特征和图像标签的视觉注意信息和语义注意信息融合，生成图像特定区域的文本描述；将图像特定区域的文本描述进行编号后输入至基于注意力的LSTM语言生成模型，输出细粒度的图像描述。

技术领域

本公开属于图像处理领域，尤其涉及一种基于多级注意力的细粒度图像描述方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

深度学习近年来在图像和自然语言处理任务上的表现，使图像描述生成领域的研究越来越深入。编码器-解码器框架对文本描述进行端到端的训练,往往具有很好的效果。

发明人发现，编码器-解码器框架对文本描述能产生通顺的描述语句，但往往描述不够具体，内容宽泛。生成的描述虽然能基本概括图像展现的情景内容，但却忽略了对象特征和对象之间的关系；以往提取图像特征时，关注点比较单一，提取的图像特征利用不充分，进而使得图像描述不完整。

发明内容

为了解决上述问题，本公开提供一种基于多级注意力的细粒度图像描述方法及系统，其考虑了对象特征和对象之间的关系，能够得到图像的完整描述。

为了实现上述目的，本公开采用如下技术方案：

本公开的第一个方面提供一种基于多级注意力的细粒度图像描述方法，其包括：

利用视觉注意力机制融合图像的全局特征和局部细粒度特征，得到图像的第一融合特征；

将融合特征输入至多标签分类网络中，生成所有标签的分布，得到图像标签的视觉注意信息和语义注意信息；

利用注意力机制将图像的第一融合特征和图像标签的视觉注意信息和语义注意信息融合，生成图像特定区域的文本描述；

将图像特定区域的文本描述进行编号后输入至基于注意力的LSTM语言生成模型，输出细粒度的图像描述。

本公开的第二个方面提供一种基于多级注意力的细粒度图像描述系统。

一种基于多级注意力的细粒度图像描述系统，包括：

特征融合模块，其用于利用视觉注意力机制融合图像的全局特征和局部细粒度特征，得到图像的第一融合特征；

标签信息生成模块，其用于将融合特征输入至多标签分类网络中，生成所有标签的分布，得到图像标签的视觉注意信息和语义注意信息；

文本描述生成模块，其用于利用注意力机制将图像的第一融合特征和图像标签的视觉注意信息和语义注意信息融合，生成图像特定区域的文本描述；

细粒度图像描述生成模块，其用于将图像特定区域的文本描述进行编号后输入至基于注意力的LSTM语言生成模型，输出细粒度的图像描述。

本公开的第三个方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述所述的基于多级注意力的细粒度图像描述方法中的步骤。

本公开的第四个方面提供一种计算机终端，其包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述所述的基于多级注意力的细粒度图像描述方法中的步骤。

本公开的有益效果是：