[发明专利]基于双路特征编码器的图像描述方法及系统

权利要求书

1.一种基于双路特征编码器的图像描述方法，其特征在于，包括以下步骤：

步骤S1：获取源图片，并根据输入图片构造场景图；

步骤S2：使用图卷积神经网络GCN，根据场景图结构对图中各个节点的特征进行增强编码；

步骤S3：基于多头注意力机制的全局特征编码器，对物体节点的特征进行编码；

步骤S4：使用多元残差融合模块对图卷积神经网络和全局特征编码器编码的物体节点特征进行融合，得到物体节点特征；

步骤S5：根据物体节点特征及关系节点特征，采用双层LSTM网络进行解码，将注意力机制聚焦图节点的特征，生成描述语句。

2.根据权利要求1所述的基于双路特征编码器的图像描述方法，其特征在于，所述步骤S1具体为：

使用Faster RCNN作为目标检测网络检测图片上的物体以及类别；

将两两物体组合输入关系检测网络分类得到物体之间的关系；

使用多模态特征对场景图节点信息进行初步增强，其中多模态特征包括类别文本特征和视觉信息特征。

3.根据权利要求2所述的基于双路特征编码器的图像描述方法，其特征在于，所述关系检测网络输入是两个物体的区域和物体之间的联合区域，经过平均池化和全连接层组成的分类网络生成关系词表中每一类的概率，其中有一类是“无关系”，具体为：将o_i定义为目标检测网络检测出的第i个物体，r_ij定义物体o_i和物体o_j之间的关系，则可以得到三元组o_i，r_ij，o_j，表示主语，谓语，宾语；

根据检测得到的一系列的三元组，构成图片I的场景图其中代表点集，ε代表边集；点集包括两种节点：物体节点和关系节点；对于三元组o_i，r_ij，o_j，在点集上添加三个节点，分别是两个物体节点o_i、o_j和一个关系节点r_ij；并在边集ε上添加两个边，分别是点o_i到点r_ij和点r_ij到点o_j。

4.根据权利要求2所述的基于双路特征编码器的图像描述方法，其特征在于，所述类别文本特征是每个节点的类别标签的词向量，视觉信息特征是Faster RCNN提取的物体区域经过ImageNet上预训练的ResNet-101网络编码的定长图像特征，具体的，使用以下公式对物体节点o_i和关系节点r_ij的信息进行增强编码：

其中和表示编码后的节点特征；f_o和f_r表示使用ReLU激活函数的全连接网络；[；]表示拼接；和表示物体节点o_i的视觉信息特征和类别文本特征；表示关系节点r_ij的类别文本特征。

5.根据权利要求1所述的基于双路特征编码器的图像描述方法，其特征在于，所述步骤S2具体为：对不同类型的节点采用不同类型的编码方式：对于关系节点的计算，考虑与其相关的物体节点特征；对于物体节点的计算，考虑与其相关的关系节点特征；物体节点o_i和关系节点r_ij的编码计算方式如下：

其中，和表示经过GCN编码的物体节点和关系节点特征；f_in、f_out、f_r表示使用ReLU激活函数的全连接网络；N_in和N_out表示以o_i节点结尾和开头的边连接的关系节点；N_oi表示与o_i节点邻接的关系节点总数量。