[发明专利]一种基于感知损失的双目深度估计方法

说明书

本发明涉及一种基于感知损失的双目深度估计方法，包括步骤一，收集数据；收集真实的立体图像；步骤二，利用计算机软件重建立体图像；步骤三，形成视差生成网络；利用步骤一收集的立体图像与步骤二重建的立体图像形成视差生成网络；视差生成网络的形成是将左右两幅图像连接到卷积层作为训练时的输入；步骤四，确定视差损失L；所述视差损失L包括颜色相似性损失Lc以及感知损失Lp；步骤五，利用视差损失L改进立体视差生成网络，形成立体视差估计网络。本发明通过考虑视差损失，所述视差损失L包括颜色相似性损失Lc以及感知损失Lp；感知损失考虑原图像和重建图像的差异损失，更精确的建立双目感知的模型。

技术领域

本发明涉及视差领域，特别是一种基于感知损失的双目深度估计方法。

背景技术

在众多计算机视觉和移动机器人领域中，场景深度信息的准确估计是一个关键问题，受到了研究者的广泛关注。基于深度估计的机器人有很多应用，如自动驾驶车辆、机器人导航、机器人抓取等。同时，精确的深度数据对于虚拟现实(VR)和增强现实(AR)也是至关重要的。

到目前为止，已有大量的方法被提出来解决和优化深度估计，其中立体匹配相对于LIDAR传感器或结构光相机是应用最广泛的。立体匹配是一种类似于人类双目视觉的方法，在一对矫正的立体图像之间搜索对应的匹配像素点，得到记录水平坐标差异的视差。具体来说，一个物体分别在位置(x,y)和(x-d,y)的左右像上投影。然后根据极面几何知识，可以计算出物体深度。本文可以根据z＝fB/d的公式计算出物体深度，其中f为相机的焦距，B为两个相机中心之间的基线距离。

传统的立体视差估计方法将立体匹配的计算和优化分为几个步骤。近年来，使用卷积神经网络(CNNs)的方法取得了更优异的性能，它将立体匹配作为一种有监督的学习任务，需要大量高质量的地面真实深度数据进行训练。虽然这些方法都取得了很大的成功，但到目前为止收集场景深度数据仍然是一个具有挑战性的问题。

近年来，一些研究者将无监督学习用于解决单眼和双目图像的视差估计问题，在训练时直接用对立体图像来定义目标损失函数。在这些方法中，作者基于预测的视差对重建左右两幅图像，并训练最大的相似性与真彩色立体图像。虽然他们考虑了视差平滑和一致性损失结合图像颜色相似度来提高性能，但与监督学习相比仍然存在较大的差距。人类视觉系统对图像的理解主要是基于图像的特征。卷积神经网络可以有效地提取从低级到高级的图像特征表示，用于度量两幅图像特征距离的特征表示称为图像变换任务中的感知损失函数。

现有的双目深度估计方法没有考虑感知的损失，是不完善的，需要改进。

现有专利中，申请号为CN202110237547.3，名称为基于图卷积神经网络的单目深度估计方法；该专利公开了包括如下步骤，S1下采样操作，对电力设备的图像的深度图从粗到细进行下采样，获得用于重建图的深度图；S2加噪声，基于S1步骤形成的用于重建图的深度图添加高斯噪声；S3生成拓扑图，基于S2步骤形成的添加高斯噪声后的深度图，根据深度间隔阈值θ生成相应稀疏程度的拓扑图；S4深度拓扑图过滤，基于S3步骤形成的拓扑图进行过滤，获得过滤后每一尺度深度的拓扑图；

还有一个申请号为CN201810711056.6，名称为增广序数深度关系的单目深度估计方法。该专利公开了包括以下具体步骤：步骤一：引入了一个新的相对深度立体系统RDIS数据集密集并标记相对深度；步骤二：在RDIS数据集密集上对RESNET模型进行预训练；步骤三：检索度量深度预测，建立任意正规化预测的相对深度图，使得平均值和标准偏差与训练集的度量地面真实深度相同；

以上两个专利均存在着只是提供了单目的估计方法，而人类大部分是双目去看，形成图像，所以该方法具有片面性，需要改进。

发明内容

本发明的目的是提供一种双目的估计方法，使得形成的图像更接近人类眼睛观察到的图像。

为解决上述问题，本发明采用如下的技术方案，