[发明专利]一种提高可控图像文本描述正确性的网络构建方法

说明书

本发明公开了一种提高可控图像文本描述正确性的网络构建方法，步骤包括：步骤1、构建模型数据集；步骤2、提取数据集特征；步骤3、构建提取重点特征的编码器；步骤4、增强图像编码特征之间关系的编码网络；步骤5、将编码后特征输入解码网络输出语句；步骤6、按照以上步骤构建训练网络，通过上述步骤1‑步骤5，将构建好的编码网络和解码网络进行训练，用编码网络获得带有可控条件的图像特征，输入至解码网络，完成图像文本的描述。本发明的方法，这种可控的图像文本描述具有更高的正确性。

技术领域

本发明属于图像文本描述算法技术领域，涉及一种提高可控图像文本描述正确性的网络构建方法。

背景技术

图像是人类活动中最常用的信息载体，蕴含着丰富的有用信息。如何自动提取图像内容，对其进行文本的正确描述虽很困难，但已经具有了可行性。图像文本描述算法是指对于给定的一幅图像，计算机自动输出一句描述图像内容的文字。由于其能够完成从图像到文本信息的跨模态转换，所以能够应用到包括图像的跨模态快速检索等多个领域，因此，这个方向的研究具有广泛的应用前景。

图像文本描述的正确性主要取决于两个方面：一是对图像中包含物体、场景及物体间相互联系的识别能力；二是通过物体准确输出文本内容的描述能力。正确的识别能力是正确输出图像文本描述的前提，这部分的工作是在模型的编码器中完成的，但是现有技术在这方面还存在输出信息不准确、输出重点偏离的不足。

发明内容

本发明的目的是提供一种提高可控图像文本描述正确性的网络构建方法，解决了现有技术在图像文本描述过程中描述语句不准确，以及描述内容不可控的问题。

本发明采用的技术方案是，一种提高可控图像文本描述正确性的网络构建方法，按照以下步骤实施：

步骤1、构建模型数据集；

步骤2、提取数据集特征；

步骤3、构建提取重点特征的编码器；

步骤4、增强图像编码特征之间关系的编码网络；

步骤5、将编码后特征输入解码网络输出语句，

将步骤4得到的全局编码特征作为输入，先通过Graph Attention计算每次进行解码需要关注的节点的权重，再通过双层LSTM网络输出，预测当前单词，再将当前LSTM的输出返回以更新全局编码特征重新计算节点权重，生成下一个单词，以此类推；

步骤6、按照以上步骤构建训练网络，

通过上述步骤1-步骤5，将构建好的编码网络和解码网络进行训练，用编码网络获得带有可控条件的图像特征，输入至解码网络，完成图像文本的描述。

本发明的有益效果是，在编码网络模型中，通过加强图像重点部分的特征，放大不同物体之间描述程度的差异，之后与可控条件结合，获得更准确的图像编码特征。将该特征输入至解码网络后，对输入图像进行文本描述，与目前检索到的主流论文所发表的算法指标相比，这种可控的图像文本描述具有更高的正确性。

附图说明

图1是本发明方法控制图像文本描述的形式；

图2是本发明方法的特征编码网络模型的总体结构流程图；

图3是本发明方法的增强物体间关系特征的AoA模块结构流程图；

图4是本发明方法所采用的解码网络模型的结构流程图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明的方法，按照以下步骤实施：

步骤1、构建模型数据集，

1.1)建立数据样本的训练集、验证图像数据的验证集，