[发明专利]一种红外图像的转换训练方法、装置、设备及存储介质

权利要求书

1.一种红外图像的转换训练方法，其特征在于，包括：

获取第一图像域集和第二图像域集；其中，所述第一图像域集包括红外视频对应的红外图像，所述第二图像域集包括真彩视频对应的真彩图像，所述红外视频与所述真彩视频的场景相同；

基于帧间差一致性和对比学习，利用所述第一图像域集和所述第二图像域集对预设生成器和预设判别器的权重参数进行迭代训练，获取训练完成的预设生成器；其中，所述预设生成器用于将所述红外图像转换为转换真彩图像，所述预设判别器用于判别得到输入的真彩图像对应的真假结果；

根据训练完成的预设生成器，获取转换生成器，以利用所述转换生成器对实际红外视频进行图像转换，得到目标真彩视频。

2.根据权利要求1所述的转换训练方法，其特征在于，所述基于帧间差一致性和对比学习，利用所述第一图像域集和所述第二图像域集对预设生成器和预设判别器的权重参数进行迭代训练，包括：

基于帧间差一致性思想，利用所述第一图像域集和所述第二图像域集对所述预设生成器和所述预设判别器的权重参数进行迭代训练，以使输入与输出所述预设生成器的对应连续帧图像的帧间差小于预设值；

基于语义结构的对比学习思想，利用所述第一图像域集和所述第二图像域集对所述预设生成器和所述预设判别器的权重参数进行迭代训练，以使输入与输出所述预设生成器的对应图像的语义信息保持一致。

3.根据权利要求2所述的红外图像的转换训练方法，其特征在于，所述对比学习思想具体基于语义结构损失函数实现，所述语义结构损失函数包括多层红外图像块对比损失函数和多层真彩图像块对比损失函数；

其中，所述多层红外图像块对比损失函数为所述多层真彩图像块对比损失函数为X为所述第一图像域集，Y为所述第二图像域集，l为所述预设生成器的编码器中的目标卷积层，L为所述编码器中的目标卷积层数量，s为每层所述目标卷积层中的目标位置，S_l为所述目标卷积层中的目标位置数量，z_l为通过所述编码器和预设多层感知器网络后生成的特征，为所述红外图像或所述真彩图像与所述转换真彩图像相对应的所述目标位置上的特征，为所述红外图像或所述真彩图像中的与所述转换真彩图像不对应的所述目标位置上的特征，为所述红外图像或所述真彩图像中的与所述转换真彩图像相对应的所述目标位置上的特征。

4.根据权利要求2所述的红外图像的转换训练方法，其特征在于，所述帧间差一致性思想具体基于帧间差一致性损失函数实现，所述帧间差一致性损失函数为

其中，T为所述红外视频的总帧数，I_t为所述预设生成器的输入帧序列，为所述预设生成器的输出帧序列，φ(x_t)＝f_m(x_t+1)-f_m(x_t)，x_t为第t+1帧和第t帧之间的差距，m为目标特征图层，f_m(x_t)为通过预设卷积神经网络的卷积层提取到的特征。

5.根据权利要求1所述的红外图像的转换训练方法，其特征在于，所述基于帧间差一致性和对比学习，利用所述第一图像域集和所述第二图像域集对预设生成器和预设判别器的权重参数进行迭代训练，还包括：

基于生成对抗思想，利用所述第一图像域集和所述第二图像域集对所述预设生成器和所述预设判别器的权重参数同时进行迭代训练，以使所述预设判别器输出的所述真彩图像对应的真假结果与所述转换真彩图像对应的真假结果的分数相等。

6.根据权利要求5所述的红外图像的转换训练方法，其特征在于，所述生成对抗思想具体基于生成对抗损失函数实现，所述生成对抗损失函数为G(·)为所述预设生成器的输出，D(·)为所述预设判别器的输出，X为所述红外图像，Y为所述真彩图像，y_k为第k帧的真彩视频帧图像，x_i为第i帧的红外视频帧图像。