[发明专利]一种基于新型注意模型进行图像字幕生成的方法

说明书

技术领域

本发明涉及图像理解领域，尤其是涉及了一种基于新型注意模型进行图像字幕生成的方法。

背景技术

图像字幕是为了理解图像内容而产生的辅助工具，随着互联网的发展，图像字幕生成技术得到越来越多的关注。图像字幕生成常用于机器翻译、人机交互、人工智能、视频处理以及医疗等领域。具体地，在机器翻译领域，可对输入图像的内容进行解释说明，提高了翻译质量。在人工智能领域，通过智能助手对图像的识别和处理，再生成字幕，使日常生活更为便利。在视频处理领域，根据视频图像自动生成字幕，减少了人力消耗。而在医疗领域，可以对医疗图像进行检测，科学分析图像并生成文字说明。生成字幕的过程就是通过用计算机系统解释图像，来实现类似人类视觉系统理解外部世界的过程。对图像字幕生成的研究很多，但要结合图像显著度和上下文来生成字幕，尚且存在一定的挑战。

本发明提出一种基于新型注意模型进行图像字幕生成的方法，通过新型字幕结构，在字幕生成过程中聚焦所输入图像的不同部位，具体的图像中哪些部位是显著的，哪些部位是需要结合上下文的，由显著度预测模型给定，由卷积神经网络提取图像，递归神经网络生成对应字幕，嵌入显著度预测可以有效提高图像字幕的质量。本发明提出一个新型注意模型，通过注意模型的扩展，在显著性预测模型中，创造两条注意力途径，一条重点关注显著区域，另一条重点关注上下文区域，两条路径在生成字幕过程中共同合作，逐步生成优秀的字幕，为图像字幕生成的创新解决方案做了进一步贡献。

发明内容

针对图像字幕生成，提出一个新型注意模型，通过注意模型的扩展，在显著性预测模型中，创造两条注意力途径，一条重点关注显著区域，另一条重点关注上下文区域，两条路径在生成字幕过程中共同合作，逐步生成优秀的字幕，为图像字幕生成的创新解决方案做了进一步贡献。

为解决上述问题，本发明提供一种基于新型注意模型进行图像字幕生成的方法，其主要内容包括：

(一)显著度预测模型；

(二)选中图像显著区域；

(三)显著度和文本感知注意力；

(四)字幕生成；

(五)分析注意力状态。

其中，所述的显著度预测模型，根据新型注意模型，提出一个新型字幕结构，在字幕生成过程中聚焦所输入图像的不同部位，具体的图像中哪些部位是显著的，哪些部位是需要结合上下文的，由显著度预测模型给定，由卷积神经网络提取图像，递归神经网络生成对应字幕，嵌入显著性预测可以有效提高图像字幕的质量。

其中，所述的新型注意模型，通过注意模型的扩展，在显著性预测模型中，创造两条注意力途径，一条重点关注显著区域，另一条重点关注上下文区域，两条路径在生成字幕过程中共同合作，逐步生成优秀的字幕。

进一步地，所述的选中图像显著区域，结合显著图和语义分割，来研究哪一部分图像被显著度实际选中或忽略，为了计算显著性图，采用当下流行的显著性基准，基于三个语义分割数据库进行分析：Pascal-Context数据集，Cityscapes数据集，和Look into Person数据集，其中第一个没有特定目标，其余两个分别集中于城市街道和人体部位，训练图像和验证图像来源于Pascal-Context数据集和LIP数据集，从Cityscapes数据集中选取5000个像素级的注释帧，首先调查每个数据集中显著度的两个极端，由于语义类在图像中出现的次数很少，所以只考虑出现次数大于N的类别，由于数据库大小不一，在Pascal-Context数据集和LIP数据集中，令N＝500，在Cityscape数据集中，令N＝200，为了收集显著性命中语义类别的次数，通过对显著图的像素值进行阈值化处理，再对每个图进行二值化，其中低阈值导致二值化图的显著性区域扩张，高阈值在固定点周围产生较小的显著度区域，故用这个两个不同的阈值来分析显著度最高和最低的类别，选择一个接近0的阈值在每个数据集中寻找显著度最低的类别，选择一个接近255的阈值寻找显著度最高的类别，结果观察到在特定的情景中，最重要的或者最明显的物体显著度最高，而背景中的物体和图像本身的上下文则容易被忽略。