[发明专利]一种基于掩模增强网络模型的无监督深度补全方法

说明书

本发明涉及一种基于掩模增强网络模型的无监督深度补全方法，包括以下步骤：步骤S1：采集KITTI数据集；步骤S2：构建用于输出稠密深度图的深度图网络模型和用于输出连续两帧之间运动物体和梯度较小区域的掩膜网络模型；步骤S3：构建网络训练的损失函数；步骤S4：根据得到的训练集，对深度图网络和掩膜网络进行无监督训练，并保存深度图网络模型和掩膜网络模型的各项权重值；步骤S5：根据验证集，对深度图网络超参数的调整，重复步骤S4，得到优化后的深度图网络模型；步骤S6：将待补全深度图输入优化后的深度图网络模型，进行深度补全，得到深度补全后的深度图。本发明可以对深度图进行更好补全，用于自动驾驶车辆能够实现更好的进行避障、建图的处理。

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于掩模增强网络模型的无监督深度补全方法。

背景技术

人们可以从视觉感知中理解自身运动和周围物体运动的关系。例如人们在前进的过程中能够轻松避开障碍物，甚至是突然出现的障碍物。在许多计算机视觉的任务中，也希望计算机能够获得同样的场景理解和建模能力，这有利于自动驾驶和机器人在前进的过程中躲避障碍物和选择前进方向。在过去的几年里，深度预测任务的性能得到了快速提升。随着深度学习的不断发展，基于深度学习的测距展现出更加具有竞争力的性能。通过训练深度网络，可以使用未标记的视频或立体图像作为输入，从单个图像实现3D重建。

近几年，基于深度学习的深度预测性能虽然在不断提高，但在精度上仍然有难以突破的瓶颈。激光雷达的出现，使得来自传感器的深度信息的置信程度有了很大改善。雷达能够产生周围环境的点云，但扫描线的数量有限，并且稀疏度很高，具有64条扫描线的雷达深度图虽然并不稠密，但是仍然十分昂贵，并且对于远距离的物体十分不敏感。深度补全是指将稀疏点云变成密集深度图。由于深度图对于避障和测距等任务具有重要的作用，所以工业界对于深度图的获取变得更加关注，特别是在自动驾驶和机器人领域。这使得深度补全和深度预测目前正处于一个非常活跃的研究领域。但是真正的深度补全标签往往难以获得，即使是现在大家用的KITTI数据集也是合成的，只有30％像素有深度信息的标签，并且是通过10帧合成的，这导致了有监督学习的不可靠性和对专门场景的数据集的标签制作的复杂性。现有的有监督学习的精度尽管很高，但对场景的依赖程度高，对于未训练过的场景鲁棒性并不好。

许多利用光度误差作为损失函数来计算深度的办法是一种非常好的想法，但是在计算光度误差时，要求图像中物体是静止的，并且对于梯度较小的区域，容易产生错误的点匹配，计算出错误的光度误差，这导致最终的模型性能并不理想。通过搭建用于输出连续两帧之间运动物体和梯度较小区域的掩膜的网络，利用网络输出的掩膜来屏蔽运动物体，避免在计算附近帧和当前帧的光度误差时使模型学到错误的深度信息，影响网络架构性能。

目前，深度补全的办法基本是利用单目RGB图像和激光雷达融合作为引导进行深度补全，但是其实双目的图像对于训练的网络能提供更多的引导信息。利用双目图像进行光度误差的计算时，由于是处于同一时刻，不存在因为物体运动的原因而产生错误的光度误差，这有利于对运动物体的光度误差的计算，同时为深度图网络的训练提供了更多的学习样本。的网络架构就利用这一特性，通过计算双目图像的光度误差，将双目图像作为网络的一种监督信号。

发明内容

有鉴于此，本发明的目的在于提供一种基于掩模增强网络模型的无监督深度补全方法，能够不依赖于标签的标注信息，表现出良好的性能。

为实现上述目的，本发明采用如下技术方案：

一种基于掩模增强网络模型的无监督深度补全方法，包括以下步骤：

步骤S1：采集KITTI数据集，并随机分为训练集和验证集；

步骤S2：构建用于输出稠密深度图的深度图网络模型和用于输出连续两帧之间运动物体和梯度较小区域的掩膜网络模型；

步骤S3：构建网络训练的损失函数；