[发明专利]无人驾驶中红外视频转换为可见光视频的方法

权利要求书

1.一种无人驾驶中红外视频转换为可见光视频的方法，其特征在于，包括：

步骤1，构建神经网络，其中包括：2个生成器G_X和G_Y、2个2层的MLP作为生成器中计算互信息时的特征提取器F_X和F_Y、2个预测器P_X和P_Y、2个判别器D_X和D_Y；

步骤2，以连续三帧为一个样本的方式将红外数据x₀、x₁、x₂和可见光数据y₀、y₁、y₂加载到网络；

步骤3，预测器P_X根据红外数据输入的前2帧x₀、x₁预测生成红外视频第3帧计算生成的第3帧与真实第3帧x₂间的L1损失和感知损失，记作预测一致性损失；

步骤4，将红外视频数据的前2帧x₀、x₁输入至生成器G_Y中获得可见光生成帧结果

步骤5，根据可见光生成帧结果和预测器P_Y对可见光第3帧进行预测生成，获得第3帧预测结果

步骤6，将可见光生成帧结果和第3帧预测结果输入到判别器D_Y中，判断生成的帧是否真实并获得对抗损失；

步骤7，将可见光生成帧结果通过生成器G_X重新生成属于红外输入域的红外图像计算重新生成的视频帧与对应原始视频帧x₀、x₁的L1损失与感知损失，记作循环一致性损失；

步骤8，将第3帧预测结果通过生成器G_X重新生成属于源输入域的红外图像计算重新生成的视频帧与原始视频帧x₂的L1损失与感知损失，记作循环预测损失；

步骤9，计算目标可见光视频帧和对应的红外输入视频帧x₀、x₁、x₂之间的InfoNCE互信息损失，获得跨域对比损失；

步骤10，根据相邻视频帧之间的互信息差异，获得同域对比损失；

步骤11，根据预测一致性损失、对抗损失、循环一致性损失、循环预测损失、跨域对比损失和同域对比损失更新生成器和判别器；

步骤12，重复步骤2至步骤11，直至迭代次数达到最大。

2.根据权利要求1所述的无人驾驶中红外视频转换为可见光视频的方法，其特征在于，步骤6中对抗损失函数如下：

L_ADV＝∑_slogD_Y(y_s)+∑_tlog(1-D_Y(G_Y(x_t)))……(1)，

上式(1)中：y_s表示目标域视频输入序列中的第s帧，x_t表示源域视频输入序列中的第t帧。