[发明专利]一种红外图像的转换训练方法、装置、设备及存储介质

说明书

本发明公开了一种红外图像的转换训练方法、装置、设备及计算机可读存储介质，该方法包括：获取第一图像域集和第二图像域集；基于帧间差一致性和对比学习，利用第一图像域集和第二图像域集对预设生成器和预设判别器的权重参数进行迭代训练，获取训练完成的预设生成器；根据训练完成的预设生成器，获取转换生成器；本发明引入对比学习的思想避免了现有循环一致性思想的严格的双向映射的方式，能够更好地适用存在时间跨度的红外图像转换，使得转换的白天真彩图像能够保留夜间红外图像的原始语义结构信息；基于帧间差一致性，采用帧间差分的思想约束输入与输出之间的帧间差异，能够有效防止生成真彩视频产生帧间闪烁问题。

技术领域

本发明涉及图像处理技术领域，特别涉及一种红外图像的转换训练方法、装置、设备及计算机可读存储介质。

背景技术

红外成像技术由于其独特的热成像原理，能够在夜间或者各种极端环境下获得肉眼以及各种可见光探测器无法捕捉的图像。凭借此独特的优势，使其被广泛应用于夜间监控、火灾侦测、夜间辅助驾驶等众多领域。然而红外图像也有明显的缺点，其所成的灰度图像并不符合人眼的视觉感知神经；除此以外，相比可见光真彩图像，红外图像缺少了很多细节纹理信息，使得后端各种图像算法难以实现。

近年来，深度学习在各种图像处理任务中都取得了远超传统算法的效果，在红外彩色夜视领域也出现了基于深度神经网络的红外真彩转换算法，相比传统的融合技术，这些算法能够直接将红外图像转换为可见光的真彩图像，在技术上也有一定优越性。但是实现实现红外真彩转换的深度神经网络有着以下缺点：采用监督学习的算法需要严格配对配准的样本，对于红外彩色夜视这种跨时间转换任务，这种数据集几乎无法获取。而采用无监督学习的算法，基本都是基于循环一致性的思想；这类算法虽然无需严格的配对样本，但训练要求往往过于严格，红外图像与可见光图像之间的双向映射需要成对出现的生成器、判别器等模型，算力要求较高；循环一致性的思想在红外图像和可见光图像差异过大时，容易发生模式崩塌即训练失败，生成图像的效果并不稳定；并且现有的算法缺乏对于时间连续性的约束，当转换任务变为连续帧的视频转换任务时，会出现风格漂移或帧间闪烁的问题，使得生成视频的视觉效果极大降低。

因此，如何能够使训练得到一种红外图像的转换模型，在生成逼真的富有细节的可见光真彩图像的同时避免帧间闪烁问题的发生，提升用户体验，是现今急需解决的问题。

发明内容

本发明的目的是提供一种红外图像的转换训练方法、装置、设备及计算机可读存储介质，以使训练得到的红外图像的转换模型，能够在生成逼真的富有细节的可见光真彩图像的同时避免帧间闪烁问题的发生。

为解决上述技术问题，本发明提供一种红外图像的转换训练方法，包括：

获取第一图像域集和第二图像域集；其中，所述第一图像域集包括红外视频对应的红外图像，所述第二图像域集包括真彩视频对应的真彩图像，所述红外视频与所述真彩视频的场景相同；

基于帧间差一致性和对比学习，利用所述第一图像域集和所述第二图像域集对预设生成器和预设判别器的权重参数进行迭代训练，获取训练完成的预设生成器；其中，所述预设生成器用于将所述红外图像转换为转换真彩图像，所述预设判别器用于判别得到输入的真彩图像对应的真假结果；

根据训练完成的预设生成器，获取转换生成器，以利用所述转换生成器对实际红外视频进行图像转换，得到目标真彩视频。

可选的，所述基于帧间差一致性和对比学习，利用所述第一图像域集和所述第二图像域集对预设生成器和预设判别器的权重参数进行迭代训练，包括：

基于帧间差一致性思想，利用所述第一图像域集和所述第二图像域集对所述预设生成器和所述预设判别器的权重参数进行迭代训练，以使输入与输出所述预设生成器的对应连续帧图像的帧间差小于预设值；