[发明专利]融合视觉常识和增强多层全局特征的图像描述生成方法

权利要求书

1.一种融合视觉常识和增强多层全局特征的图像描述生成方法，其特征在于，包括如下步骤：

利用VC R-CNN和Faster R-CNN对输入图像分别提取视觉常识特征和局部特征；

融合所述VC R-CNN提取的所述视觉常识特征和所述Faster R-CNN提取的所述局部特征，得到融合特征；

采用X线性注意力机制挖掘对象之间的视觉语义关系，以获得高层局部特征和多层全局特征；

采用AoA机制增强所述多层全局特征，线性映射得到融合全局特征；

利用视觉选择的长短时记忆对所述融合全局特征进行筛选，并采用X线性注意力机制对所述高层局部特征加权自适应地选择相关信息，最后使用语义解码的门控线性单元生成输出单词序列；

利用所述VC R-CNN提取所述视觉常识特征的步骤为：

输入图像输入至卷积神经网络，并提取得到第一卷积特征图；

利用因果干预模块挖掘所述第一卷积特征图中区域特征y与区域x的关系，之后采用全连接得到所述视觉常识特征；

利用所述Faster R-CNN提取局部特征的步骤为：

将所述输入图像输入到卷积神经网络中提取第二卷积特征图；

将所述第二卷积特征图作为RPN的输入并生成相应的推荐区域，并对所述推荐区域进行RoI池化；

之后采用插值算法对每个所述推荐区域的所述第二卷积特征图进行裁剪，将其转换为固定大小的尺寸，然后利用卷积和最大池化得到推荐区域特征图；

之后将每个区域的特征图进行R-CNN处理，筛选推荐区域并生成所述局部特征。

2.如权利要求1所述的融合视觉常识和增强多层全局特征的图像描述生成方法，其特征在于，

所述局部特征的个数与所述视觉常识特征的个数相等。

3.如权利要求1所述的融合视觉常识和增强多层全局特征的图像描述生成方法，其特征在于，在融合所述VC R-CNN提取的所述视觉常识特征和所述Faster R-CNN提取的所述局部特征的步骤中：

采用向量拼接的融合方式将所述视觉常识特征和所述局部特征拼接后得到融合特征。

4.如权利要求1所述的融合视觉常识和增强多层全局特征的图像描述生成方法，其特征在于，

所述AoA机制采用多头自注意力和门控线性单元实现。