[发明专利]基于位置引导Transformer的图像描述生成方法、装置和计算机设备

说明书

本发明涉及计算机视觉和自然语言处理技术领域，公开了一种基于位置引导Transformer的图像描述生成方法，包括：提取图像的网格特征并进行扁平化处理得到输入向量；计算相对位置编码和绝对位置编码；将上述向量和编码输入预设的位置引导Transformer模型，得到描述图像的语句；位置引导Transformer模型包括编码器和解码器，其均由多个堆叠的注意力块组成，编码器的每个注意力块包括双位置注意力层和前馈神经网络，解码器的每个注意力块包括掩码注意力层、交叉注意力层和前馈神经网络。本发明提供的基于位置引导Transformer的图像描述生成方法、装置和计算机设备，将绝对位置编码和相对位置编码同时引入自注意力模块，并在其内部对图像特征进行组归一化，提高了模型的表现力。

技术领域

本发明涉及计算机视觉和自然语言处理技术领域，特别涉及一种基于位置引导Transformer的图像描述生成方法、装置和计算机设备。

背景技术

图像描述生成是一个多模态任务，旨在自动生成图像中视觉内容的自然语言描述。它不仅要求了模型对视觉和语言的理解，而且还要有能力对齐跨模态表示。图像描述生成模型广泛地使用了编码器-解码器范式,其中卷积神经网络(Convolutional NeuralNetwork,CNN)被用来编码视觉特征，而循环神经网络(Recurrent Neural Network,RNN)被用来将CNN的输出解码为自然句子。此外，基于注意力的方法探索了视觉表征和自然句子之间的互动，并关注突出的信息。具体来说，注意力机制通过生成每个输入图像的空间投影来指导每个单词的解码，以此提高性能。随着Transformer的发展,在图像描述生成模型中，自注意力模块在探索视觉特征和文字之间的相关性方面发挥了重要作用。

然而，传统的基于Transformer的框架在图像描述生成中考虑图像中视觉内容之间的几何关系方面有一定困难，不能防止自我注意中每层输入的分布变化，同时也很难捕捉到视觉元素之间的相互位置信息的交互，这限制了图像描述生成任务的表达能力。

发明内容

本发明提供了一种基于位置引导Transformer的图像描述生成方法、装置和计算机设备，将绝对位置编码和相对位置编码同时引入自注意力模块，并在其内部对图像特征进行组归一化，提高了模型的有效性。

本发明提供了一种基于位置引导Transformer的图像描述生成方法，包括：

获取图像，并提取所述图像的网格特征；

将所述网格特征进行扁平化处理，得到输入向量；

根据所述网格特征得到所述网格特征的相对位置编码和绝对位置编码；

将所述相对位置编码、绝对位置编码、输入向量输入预设的位置引导Transformer模型，得到描述所述图像的语句；其中，所述预设的位置引导Transformer模型包括编码器和解码器，所述编码器和解码器均由多个堆叠的注意力块组成，所述编码器的每个注意力块包括双位置注意力层和前馈神经网络，所述解码器的每个注意力块包括掩码注意力层、交叉注意力层和前馈神经网络。

进一步地，所述根据所述网格特征得到所述网格特征的相对位置编码和绝对位置编码的步骤，包括：

采用正弦波位置编码的拼接和扁平化处理计算所述网格特征的绝对位置编码；其中，计算公式包括：

其中，APE(i，j)表示绝对位置编码，i，j是一个网格特征的行嵌入和列嵌入，[PE_i；PE_j]表示拼接，p表示行或列的位置，m表示p的维度，d_model表示所述位置引导Transformer模型的维度；

计算所述网格特征的平滑相对位置编码；其中，计算公式包括：