[发明专利]一种基于多源协同特征的图像描述生成方法

权利要求书

1.一种基于多源协同特征的图像描述生成方法，其特征在于包括以下步骤：

1)采用目标检测器同时提取图像的网格特征和区域特征；

2)利用特征的绝对位置信息和相对位置信息，建立一个综合关系注意力机制辅助模型进行特征理解和关系建模，辅助模型进行特征理解和两种特征自增强；

所述绝对位置信息为网格特征或区域特征在整张图片中的位置；所述相对位置信息是先将网格特征和区域特征的几何信息都表示为矩形框(x,y,w,h)，其中(x,y)为框的左上角坐标，w,h为框的宽度和高度；然后将两个框box_i和box_j的相对关系表示为一个4维向量：

得到4维相对编码向量之后，使用PE函数将其也映射为d_model维，d_model为神经网络的中间层特征维数；

所述特征自增强，在得到绝对位置编码和相对位置编码后，使用Transformer模型进行特征自增强；

3)利用特征间的几何对齐关系，让两种特征进行交互协作增强，交换重要的视觉信息，实现更好的视觉表达。

2.如权利要求1所述一种基于多源协同特征的图像描述生成方法，其特征在于在步骤1)中，所述采用目标检测器同时提取图像的网格特征和区域特征的具体方法为：

(1)使用Faster-RCNN作为目标检测器，在Visual Genome数据集上进行目标检测和属性预测训练；

(2)将目标检测器检测出的置信度大于20％的检测框中对应的图像特征提取出来作为区域特征，将目标检测器骨干网络提取出的特征作为网格特征。

3.如权利要求1所述一种基于多源协同特征的图像描述生成方法，其特征在于在步骤3)中，所述利用特征间的几何对齐关系，让两种特征进行交互增强，交换重要的视觉信息，实现更好的视觉表达的具体步骤为：

(1)根据区域特征和网格特征的位置信息构建几何对齐图；

(2)根据几何对齐图进行视觉信息交互和增强。