[发明专利]一种跨模态图像转换方法及装置

说明书

本发明提供一种跨模态图像转换方法及装置。其中，该方法包括：确定源模态图像对应的源模态矩阵向量；将编码处理后的源模态矩阵向量输入至全局注意力模型中进行处理，得到相应的目标模态图像；其中，所述全局注意力模型是以预设的原始源模态图像和实际目标模态图像的二维矩阵为训练样本进行训练得到的。采用本发明公开的跨模态图像转换方法，能够利用注意力模型对整体信息的学习能力，来实现不同模态间图像的变换，提高了跨模态图像转换的效率和稳定性，同传统方法相比，具有更好的适应性和通用性。

技术领域

本发明涉及计算机图像处理技术领域，具体涉及一种跨模态图像转换方法和装置。另外，还涉及一种电子设备及非暂态计算机可读存储介质。

背景技术

近年来，计算机图像处理技术得到了快速的发展，而在计算机图像研究领域中，图像转换技术是一项重要的研究内容。图像转换旨在研究数据域之间的关系，并解决如何将一个模态的图像转换成另一个模态的图像。跨模态图像转换技术在多个领域有着重要的应用，例如汽车驾驶应用的红外与可见光图像的信息融合，医疗应用中CT(ComputedTomography)图像与MRI(Magnetic Resonance Imaging)图像的融合对照等等，从而实现多模态信息融合。同一场景中不同模态的图像可从不同手段获得有用信息，互为补充，比如红外和可见光图像。变换后的图像可用于与目标模态图像的对比、配准或其它分析。然而，不同模态图像成像介质不同，内容差别很大，不利于跨模态信息的联合分析。

现有技术中，为方便在相同条件下比较，往往需要将不同模态图像映射到同一模态对齐，再比较不同模态的信息。传统方法是基于特定模态下的成像物理模型来反演其在另一模态的数值，其具体又包括两类：通过源模态反演物体信息，再根据物体信息在目标模特二次成像；通过成像模型构建二模态间的直接映射。常规的做法是基于物理模型的跨模态转换方法，然而此种方法高度依赖具体模态成像的模型准确度和成像因素的条件变化，很难获得好的变换效果，也不具有通用性。因此如何设计一种通用、高效的跨模态图像转换方案成为本领域研究的重要课题。

发明内容

为此，本发明提供一种跨模态图像转换方法及装置，以解决现有技术中存在的跨模态图像转换方案，局限性较高，不具有通用性，跨模态图像转换效率较差的问题。

本发明提供一种跨模态图像转换方法，包括：

确定源模态图像对应的源模态矩阵向量；

将编码处理后的源模态矩阵向量输入至全局注意力模型中进行处理，得到相应的目标模态图像；

其中，所述全局注意力模型是以预设的原始源模态图像和实际目标模态图像的二维矩阵为训练样本进行训练得到的。

进一步的，所述确定源模态图像对应的源模态矩阵向量，具体包括：

将所述源模态图像进行切分，获得若干个源模态小块；

将所述源模态小块分别变换为对应的一维向量，基于所述一维向量构成所述源模态图像对应的源模态矩阵向量。

进一步的，所述全局注意力模型为基于注意力机制的变换器模型；

所述将编码处理后的源模态矩阵向量输入至全局注意力模型中进行处理，得到相应的目标模态图像，具体包括：

将编码后的源模态矩阵向量输入至变换器模型中的编码器部分进行处理，获得相应的编码矩阵向量；

将所述编码矩阵向量输出到所述变换器模型中的解码器部分，获得相应的解码矩阵向量；

将所述解码矩阵向量输入至目标嵌入层反投影为目标模态小块，并拼接所述目标模态小块，得到相应的目标模态图像。

进一步的，所述编码器部分包含多个顺次连接的编码层；