[发明专利]一种基于新型注意模型进行图像字幕生成的方法

权利要求书

1.一种基于新型注意模型进行图像字幕生成的方法，其特征在于，主要包括显著度预测模型(一)；选中图像显著区域(二)；显著度和文本感知注意力(三)；字幕生成(四)；分析注意力状态(五)。

2.基于权利要求书1所述的显著度预测模型(一)，其特征在于，根据新型注意模型，提出一个新型字幕结构，在字幕生成过程中聚焦所输入图像的不同部位，具体的图像中哪些部位是显著的，哪些部位是需要结合上下文的，由显著度预测模型给定，由卷积神经网络提取图像，递归神经网络生成对应字幕，嵌入显著度预测可以有效提高图像字幕的质量。

3.基于权利要求书2所述的新型注意模型，其特征在于，通过注意模型的扩展，在显著度预测模型中，创造两条注意力途径，一条重点关注显著区域，另一条重点关注上下文区域，两条路径在生成字幕过程中共同合作，逐步生成优秀的字幕。

4.基于权利要求书1所述的选中图像显著区域(二)，其特征在于，结合显著图和语义分割，来研究哪一部分图像被显著度实际选中或忽略，为了计算显著性图，采用当下流行的显著性基准，基于三个语义分割数据库进行分析：Pascal-Context数据集，Cityscapes数据集，和Look into Person数据集，其中第一个没有特定目标，其余两个分别集中于城市街道和人体部位，训练图像和验证图像来源于Pascal-Context数据集和LIP数据集，从Cityscapes数据集中选取5000个像素级的注释帧，首先调查每个数据集中显著度的两个极端，由于语义类在图像中出现的次数很少，所以只考虑出现次数大于N的类别，由于数据库大小不一，在Pascal-Context数据集和LIP数据集中，令N＝500，在Cityscape数据集中，令N＝200，为了收集显著性命中语义类别的次数，通过对显著图的像素值进行阈值化处理，再对每个图进行二值化，其中低阈值导致二值化图的显著性区域扩张，高阈值在固定点周围产生较小的显著度区域，故用这个两个不同的阈值来分析显著度最高和最低的类别，选择一个接近0的阈值在每个数据集中寻找显著度最低的类别，选择一个接近255的阈值寻找显著度最高的类别，结果观察到在特定的情景中，最重要的或者最明显的物体显著度最高，而背景中的物体和图像本身的上下文则容易被忽略。

5.基于权利要求书1所述的显著度和文本感知注意力(三)，其特征在于，首先输入一个图像I，先通过全卷积网络进行编码，其提供一个空间网格上的高等级特征堆栈{a₁,a₂,…,a_L}，每个堆栈对应一个图像中的空间位置，通过模型从所输入的图像中提取一个显著图，并缩减显著图直到它符合卷积特征的空间尺寸，之后在显著性区域得到如下的空间网格{s₁,s₂,…,s₃}，其中s_i∈[0，1]，用上下文区域定义一个空间网格{z₁,z₂,…,z_L}，其中z₁＝1-s_i，在这个模式下，不同位置的视觉特征将根据它们的显著值来决定它们被选定还是被抑制。

6.基于权利要求书5所述的高等级特征堆栈，其特征在于，每个图像通过卷积网络进行编码，计算出高等级特征堆栈，使用训练的ResNet-50数据集来计算输入图像的特征映射，ResNet-50由49个卷积层，划分为5个卷积块和1个完全连接层，因为要维持空间维度，故忽略完全连接层，直接从最后的卷积层提取特征映射，ResNet模型输出一个具有2048个通道的张量，为了限制特征映射和学习参数的数量，将该张量输送到具有512个滤波器的另一个卷积层，最后一个卷积层的权重在所考虑的数据集上进行初始化和调整，在长短期网络记忆层中，再次把初始化应用于输入的加权矩阵，并对内部状态的权重矩阵进行正交初始化。