[发明专利]一种跨模态图像转换方法及装置

权利要求书

1.一种跨模态图像转换方法，其特征在于，包括：

确定源模态图像对应的源模态矩阵向量；

对所述源模态矩阵向量进行嵌入编码和位置编码处理，得到所述编码处理后的源模态矩阵向量；

将编码处理后的源模态矩阵向量输入至全局注意力模型中进行处理，得到相应的目标模态图像；其中，所述全局注意力模型是以预设的原始源模态图像和实际目标模态图像的二维矩阵为训练样本进行训练，以最小化输出原始模源模态图像与实际目标模态图像的误差为训练目标进行训练得到的；

将编码后的源模态矩阵向量输入至变换器模型中的编码器部分进行处理，获得相应的编码矩阵向量；

将所述编码矩阵向量输出到所述变换器模型中的解码器部分，获得相应的解码矩阵向量；

将所述解码矩阵向量输入至目标嵌入层反投影为目标模态小块，并拼接所述目标模态小块，得到相应的目标模态图像。

2.根据权利要求1所述的跨模态图像转换方法，其特征在于，所述确定源模态图像对应的源模态矩阵向量，具体包括：

将所述源模态图像进行切分，获得若干个源模态小块；

将所述源模态小块分别变换为对应的一维向量，基于所述一维向量构成所述源模态图像对应的源模态矩阵向量。

3.根据权利要求1所述的跨模态图像转换方法，其特征在于，所述编码器部分包含多个顺次连接的编码层；

所述将编码后的源模态矩阵向量输入至变换器模型中的编码器部分进行处理，获得相应的编码矩阵向量，具体包括：

将所述编码后的源模态矩阵向量输入至第1个编码层，得到第1个编码层输出的编码向量；

将第i个编码层输出的编码向量作为第i+1个编码层的输入向量进行迭代处理，并将最后一个编码层输出的编码向量作为所述编码矩阵向量；其中，i为大于1的整数。

4.根据权利要求1所述的跨模态图像转换方法，其特征在于，所述解码器部分包含多个顺次连接的解码层；

将所述编码矩阵向量输出到所述变换器模型中的解码器部分，获得相应的解码矩阵向量，具体包括：

将所述编码矩阵向量输入至第1个解码层，得到第1个解码层输出的解码向量；

将第j个解码层输出的解码向量作为第j+1个解码层的输入向量进行迭代处理，并将最后一个解码层输出的解码向量作为解码矩阵向量；其中，j为大于1的整数。

5.根据权利要求1所述的跨模态图像转换方法，其特征在于，还包括：

将所述全局注意力模型作为预训练模型，并基于第二源模态图像的类型对所述预训练模型中的目标层进行训练，经过参数微调得到相应的第二全局注意力模型；

将所述第二源模态图像输入至所述第二全局注意力模型中进行处理，得到对应的第二目标模态图像；其中，所述源模态图像和所述第二源模态图像对应的模态不同。

6.一种跨模态图像转换装置，其特征在于，包括：

源模态图像处理单元，用于确定源模态图像对应的源模态矩阵向量；

嵌入及位置编码处理单元，用于对所述源模态矩阵向量进行嵌入编码和位置编码处理，得到所述编码处理后的源模态矩阵向量；

源模态图像转换单元，用于将编码处理后的源模态矩阵向量输入至全局注意力模型中进行处理，得到相应的目标模态图像；其中，所述全局注意力模型是以预设的原始源模态图像和实际目标模态图像的二维矩阵为训练样本进行训练，以最小化输出原始模源模态图像与实际目标模态图像的误差为训练目标进行训练得到的；具体用于将编码后的源模态矩阵向量输入至变换器模型中的编码器部分进行处理，获得相应的编码矩阵向量；将所述编码矩阵向量输出到所述变换器模型中的解码器部分，获得相应的解码矩阵向量；将所述解码矩阵向量输入至目标嵌入层反投影为目标模态小块，并拼接所述目标模态小块，得到相应的目标模态图像。

7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5任意一项所述的跨模态图像转换方法的步骤。

8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-5任意一项所述的跨模态图像转换方法的步骤。