[发明专利]无人驾驶中红外视频转换为可见光视频的方法

说明书

本发明公开一种无人驾驶中红外视频转换为可见光视频的方法，包括：步骤1，输入红外源域视频和可见光目标域视频；输出视频帧图像；步骤2，初始化参数；步骤3，随机读入数据；步骤4，生成对应的预测生成视频帧；步骤5，生成对应生成视频帧；步骤6，生成可见光预测帧；步骤7，计算损失函数；步骤8，优化生成器、特征提取器MLP、预测器及判别器的参数；步骤9，重复步骤3至8，直到达到最大迭代次数N或模型参数收敛。本发明所述方法从内容和风格的角度优化模型生成，重视频帧的细节生成，能够得到更好的模型输出结果，并使得模型的输出在时间和空间上都能保证良好的一致性，有效的缓解了连续帧间的风格漂移、模糊、闪烁等常见的问题。

技术领域

本发明涉及视频转化技术领域，具体涉及一种无人驾驶中红外视频转换为可见光视频的方法。

背景技术

随着科学技术的发展，无人驾驶已逐步走进了人们的生活。通过不同的车载传感器，无人驾驶汽车能够感知外部世界，自动规划行车路线及执行智能驾驶操控，无人驾驶的最终目标是完全排除人为操控，因此优化汽车对外部世界的感知是最基础且最重要的步骤之一。在现实场景中，人的视觉和可见光传感器成像往往受到光照和极端天气条件(如雨、雾等)的影响。在这种情况下，一些车辆导航和监控系统会使用红外传感器来辅助视觉信号的采集，其热成像原理使得红外传感器在以上极端条件下仍能获得很好的视觉信号。但是，单通道的红外热成像在语义信息的描述能力上没有可见光成像一样易于被人理解，不利于研究人员对无人驾驶系统做出的决策进行深层次的分析和改进。此外，车载可见光视频的采集由于以上极端条件的影响，往往失去了它们的数据价值，无法应用到实际的研究工作中。而可见光数据在提升无人驾驶技术的研究中又是十分重要的一种数据源，许多目标检测、目标跟踪等无人驾驶所关心的研究，都需要高质量的可见光数据。因此，将车载红外传感器采集的红外视频转换为对应场景下的可见光视频，对无人驾驶技术的进一步研究具有重要价值。同时，现有的专利和技术中缺少相关的研究。

许多现有的图像、视频上色研究工作均基于对色彩通道的不同描述方式，旨在寻找某种线性或非线性映射关系，将灰度图转换为彩色图像，而红外成像的热成像原理无法直接套用可见光间的色彩描述关系，因而无法通过传统的数学方式进行红外与可见光成像间的转换。另外，随着数据的大规模增长，深度神经网络(Deep Neural Network，DNN)在计算机视觉任务上取得了极大的进展，许多基于DNN的图片风格迁移工作成为了研究热点。其中，基于风格、内容损失的最小化域间距离的方法是近年来无监督风格迁移领域最具前景的方法之一，通过最小化参照风格输入和目标输出之间的风格损失减小两种不同分布之间的域间距，使得模型的输出在风格上与参照风格相一致，而在内容上通过最小化内容损失，仍保留原有的内容和结构。但是，这种基于域间距离最小化的算法完全依赖于距离的度量方式，即损失函数的设计，由于无法精确地刻画风格信息之间的距离，使得算法性能受到影响。

此外，无人驾驶要求系统能够实时地作出操控响应。相比于某一时刻获取的图像而言，视频数据具有上下文信息，能够很好的表达当前场景信息，这使得视频数据天然适配于无人驾驶。而视频对于图片而言，增加了时间的维度，这使得以往针对图片的风格迁移模型不适用于视频的风格迁移，通过现有的图像风格迁移模型直接逐帧生成视频的结果会出现时空不一致，如前后风格漂移、视频帧间模糊、闪烁等问题。

例如，中国专利申请号CN202110278464.9公开了一种基于改进图像增强算法与生成对抗网络的夜景复原方法，包括以下步骤：S1：采集夜间图像，并利用MSRCP算法对夜间图像进行增强处理；S2：判断增强处理后的夜间图像是否需要进行风格迁移，若是则进入步骤S3，否则进入步骤S4；S3：进行风格迁移，并进入步骤S4；S4：对增强处理后的夜间图像依次进行暗通道先验去雾和清晰度处理，完成夜景复原。适用于安防监控和有区域夜间取景需要的领域，对模型的泛化性要求不高。