[发明专利]基于位置引导Transformer的图像描述生成方法、装置和计算机设备

权利要求书

1.一种基于位置引导Transformer的图像描述生成方法，其特征在于，包括：

获取图像，并提取所述图像的网格特征；

将所述网格特征进行扁平化处理，得到输入向量；

根据所述网格特征得到所述网格特征的相对位置编码和绝对位置编码；

将所述相对位置编码、绝对位置编码、输入向量输入预设的位置引导Transformer模型，得到描述所述图像的语句；其中，所述预设的位置引导Transformer模型包括编码器和解码器，所述编码器和解码器均由多个堆叠的注意力块组成，所述编码器的每个注意力块包括双位置注意力层和前馈神经网络，所述解码器的每个注意力块包括掩码注意力层、交叉注意力层和前馈神经网络。

2.根据权利要求1所述的基于位置引导Transformer的图像描述生成方法，其特征在于，所述根据所述网格特征得到所述网格特征的相对位置编码和绝对位置编码的步骤，包括：

采用正弦波位置编码的拼接和扁平化处理计算所述网格特征的绝对位置编码；其中，计算公式包括：

其中，APE(i，j)表示绝对位置编码，i，j是一个网格特征的行嵌入和列嵌入，[PE_i；PE_j]表示拼接，p表示行或列的位置，m表示p的维度，d_model表示所述位置引导Transformer模型的维度；

计算所述网格特征的平滑相对位置编码；其中，计算公式包括：

其中，表示平滑相对位置编码，表示符号函数，cx和cy表示网格特征的中心坐标，w表示网格特征的宽度，h表示网格特征的高度；

将所述平滑相对位置编码投影到其中，公式为：

其中，FC(·)表示全连接层对应的映射函数，Emb表示原始Tansformer模型中对应的嵌入函数，σ为ReLU激活函数。

3.根据权利要求2所述的基于位置引导Transformer的图像描述生成方法，其特征在于，所述将所述相对位置编码、绝对位置编码、输入向量输入预设的位置引导Transformer模型，得到描述所述图像的语句的步骤，包括：

将所述相对位置编码、绝对位置编码、输入向量输入所述编码器中进行多级编码，得到编码结果；

将所述编码结果输入所述解码器中，并在所述解码器中依次经过掩码注意力层、交叉注意力层和前馈神经网络后，得到描述所述图像的语句。

4.根据权利要求3所述的基于位置引导Transformer的图像描述生成方法，其特征在于，所述将所述相对位置编码、绝对位置编码、输入向量输入所述编码器中进行多级编码，得到编码结果的步骤中，对于第(l+1)层：

将所述相对位置编码、绝对位置编码、输入向量输入双位置注意力层进行计算，得到第一计算结果；其中，计算公式为：

MHBPA(F^l，F^l，F^l，APE，RPE)＝Concat(head₁，…，head_h)W^O

head_i＝BPA(F^l，F^l，F^l，APE，RPE)

其中，表示输入向量，表示网格特征的绝对位置编码，RPE∈R^N×N表示网格特征的相对位置编码，MHBPA(F^l，F^l，F^l，APE，RPE)表示第一计算结果H^l+1；

将所述第一计算结果H^l+1进行层归一化得到注意力结果其中，计算公式为：

H^l+1＝MHBPA(F^l，F^l，F^l，APB，RPE)

将所述注意力结果输入所述编码器的前馈神经网络进行计算，得到第二计算结果F^l+1；其中，计算公式为：

将第二计算结果F^l+1输入第(l+2)层进行计算，以此类推，直到所有双位置注意力层均计算后，完成多级编码。