[发明专利]一种训练用于估计图像视差图的神经网络模型方法、装置及介质

说明书

本申请实施例提供了一种训练用于估计图像视差图的神经网络模型方法，包括：将双目相机采集的左图像输入神经网络模型中获得左视差图、右视差图；基于双目相机采集的右图像和所述左视差图确定估计的左图像；基于所述左图像和所述右视差图确定估计的右图像；根据所述估计的左图像、所述左图像、所述估计的右图像、所述右图像获得第一损失函数；基于所述第一损失函数，训练所述神经网络模型。解决了现有技术中通过图像估计深度信息不准确的问题，达到了通过加入损失函数能够更准确的回归出像素点的绝对深度值的技术效果。

技术领域

本申请涉及计算机视觉识别处理技术领域，尤其涉及一种训练用于估计图像视差值的神经网络模型方法、装置及介质。

背景技术

通过图像获取环境的深度信息一直以来是一个难以解决的问题。其主要原因在于，图像是三维环境下的二维投影，这样的投影(映射)是不可逆的，即在二维图像上的每一个像素点，都有无穷多个三维环境下的三维点与其对应。在现有技术中，通常采用如下方案：

1.检测图像中的路面区域，随后根据路面的先验位置信息，拟合出地面对应的平面方程。根据地面的平面方程以及实际位置信息，该方法可以重建出像素单位与物理单位之间的尺度，从而恢复图像的深度信息。

2.利用深度学习，以图像以及对应像素点的真实深度值作为训练数据，回归每一个像素点的深度信息。

3.利用无监督学习方法，以双目图像作为训练时的输入，令模型学习左右图之间的转换关系(即视差图)，在使用时根据单张图像推测出视差信息，并根据相机内参恢复其深度值。

发明内容

上述现有技术存在以下缺点：

1.根据路面的先验位置信息，拟合出地面对应的平面方程的思路简单，但有较大的先验约束；只能在道路场景下使用，并且路面必须符合某种平面模型(如平面、二次曲面)，因此缺乏鲁棒性。

2.深度学习方法在道路/室外场景中，真实深度信息难以获取(需要依赖图像与激光雷达的联合标定)。

3.无监督学习方法与深度学习方法相比，得到的深度图像能够保持物体之间的相对深度，但对其绝对深度信息估计不准确。

为了解决上述技术问题，提出了一种训练用于估计图像视差图的神经网络模型方法、装置及介质。

第一方面，本申请的实施例提供了一种训练用于估计图像视差图的神经网络模型方法，所述方法包括：将双目相机采集的左图像输入神经网络模型中获得左视差图、右视差图；基于双目相机采集的右图像和所述左视差图确定估计的左图像；基于所述左图像和所述右视差图确定估计的右图像；根据所述估计的左图像、所述左图像、所述估计的右图像、所述右图像获得第一损失函数；基于所述第一损失函数，训练所述神经网络模型。

第二方面，根据本申请的第一方面，提供了一种训练用于估计图像视差图的神经网络模型装置，包括：左视差图、右视差图获得模块，用于将双目相机采集的左图像输入神经网络模型中获得左视差图、右视差图；估计的左图像确定模块，用于基于双目相机采集的右图像和所述左视差图确定估计的左图像；估计的右图像确定模块，用于基于所述左图像和所述右视差图确定估计的右图像；第一损失函数获得模块，用于根据所述估计的左图像、所述左图像、所述估计的右图像、所述右图像获得第一损失函数；第一神经网络模型训练模块，用于基于所述第一损失函数，训练所述神经网络模型。

第三方面，本说明书实施例提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述第一方面所述的方法。

第四方面，本说明书实施例提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于执行上述第一方面所述的方法。