[发明专利]一种基于DETR的端到端的图像描述方法

说明书

本发明公开了一种基于DETR的端到端的图像描述方法。首先获取数据集以及训练需要的DETR权重，然后构建基于DETR的图像描述模型，包括骨干网络、网格特征编码器、目标特征解码器、特征融合解码器和文本生成器；通过构建的基于DETR的图像描述模型输出预测单词；再通过设定的训练策略对基于DETR的图像描述模型进行训练；最后通过训练好的基于DETR的图像描述模型完成图像描述。本发明兼顾网格特征与目标检测特征，并使用了自适应注意力融合机制，可以均衡目标信息和全局信息，生成更加精细的图像描述。

技术领域

本发明属于图像处理技术领域，具体涉及一种基于DETR(detectiontransformer)的端到端的图像描述方法。

背景技术

图像描述是一项对于输入图像生成自然通顺且符合语法的语言文字的任务。

图像描述是自然语言处理与计算视觉的交叉课题，是机器学习跨模态领域重要的任务。但是目前的图像描述方法都基于与训练好的目标检测器，或者分类器，训练时只训练评论生成的部分，而无法更新特征提取器和目标检测器的权重，这使得无法端到端生成图像描述，无法全过程的优化模型。同时大多数方法只是用单独的一种目标特征或者网格特征，但是只是用一种特征会有缺陷。

发明内容

针对现有技术中无法端到端训练的问题，以及无法同时兼顾目标特征和网格特征的问题。本发明提供一种基于DETR的端到端的图像描述方法。

一种基于DETR的端到端的图像描述方法，其基本步骤为:

步骤1：获取数据集以及训练需要的DETR权重；

步骤2：构建基于DETR的图像描述模型；

所述图像描述模型基于DETR构建，包括骨干网络、网格特征编码器(Grid_Encoder)、目标特征解码器(Object_Decoder)、特征融合解码器(Mix_Decoder)和文本生成器。

步骤3：通过构建的基于DETR的图像描述模型输出预测单词；

步骤4：通过设定的训练策略对基于DETR的图像描述模型进行训练；

步骤5：通过训练好的基于DETR的图像描述模型完成图像描述。

进一步的，步骤1具体方法如下：

所述的数据集采用COCO2014数据集，它每条数据包含一张图片和五条人工标注的句子，下载Facebook开发的DETR模型权重(使用resnet101实现版本)。

进一步的，步骤2具体方法如下：

所述图像描述模型基于DETR构建，包括骨干网络、网格特征编码器(Grid_Encoder)、目标特征解码器(Object_Decoder)、特征融合解码器(Mix_Decoder)和文本生成器。

所述的骨干网络采用ResNet101卷积神经网络。所述的网格特征编码器为一个Transformer Encoder；所述的目标特征解码器为一个Transformer Decoder；

所述的特征融合解码器基于Transformer Decoder改进，相比TransformerDecoder，将原来的MHA改为两个并联的注意力模块，分别是一个带有位置编码目标MHA和一个不带位置编码的网格MHA，除此之外在这两个注意力模块后串联一个特征融合模块。

所述的带有位置编码目标MHA是指，在传统attention模块的Q、K点积的热力图上加上相对位置关系矩阵R。

所述的特征融合模块是一个单层全连接神经网络。