[发明专利]图像深度预测和神经网络训练方法和装置、介质、设备

说明书

本公开实施例公开了一种图像深度预测和神经网络训练方法和装置、介质、设备，其中，图像深度预测方法包括：基于神经网络中的深度分支网络对待预测图像中的每个像素点进行深度预测，得到深度特征图；基于所述神经网络中的置信度分支网络对所述深度特征图进行置信度预测，得到置信度特征图；基于所述置信度特征图，从所述深度特征图中确定所述待预测图像的深度。本公开实施例以一个神经网络的两个分支网络确定深度值和置信度值，加快了深度值确定的效率，并且，基于置信度值确定图像对应的深度值，给出图像中哪部分的像素的深度值更加有效，提升测距精度。

技术领域

本公开涉及图像深度预测技术，尤其是一种图像深度预测和神经网络训练方法和装置、介质、设备。

背景技术

图像深度估计的方法主要分为单目深度估计的方法和双目深度估计的方法，单目是基于一个镜头，而双目是基于两个镜头，基于它们有许多深度估计的方法。其中，单目是基于一幅图像来估计它的深度信息，相对于双目深度估计的方法，有一定的难度，有基于图像内容理解，基于聚焦，基于散焦，基于明暗变化等。

发明内容

为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种图像深度预测和神经网络训练方法和装置、介质、设备。

根据本公开实施例的一个方面，提供了一种图像深度预测方法，包括：

基于神经网络中的深度分支网络对待预测图像中的每个像素点进行深度预测，得到深度特征图；

基于所述神经网络中的置信度分支网络对所述深度特征图进行置信度预测，得到置信度特征图；

基于所述置信度特征图，从所述深度特征图中确定所述待预测图像的深度。

根据本公开实施例的另一方面，提供了一种神经网络训练方法，包括：

确定训练图像中部分像素点对应的监督深度值，得到监督深度图；

利用神经网络中的深度分支网络对所述训练图像进行深度预测，得到所述训练图像中每个像素点的预测深度值，得到预测深度图；

基于所述预测深度图和所述监督深度图，调整所述神经网络的网络参数。

根据本公开实施例的又一方面，提供了一种图像深度预测装置，包括：

深度图确定模块，用于基于神经网络中的深度分支网络对待预测图像中的每个像素点进行深度预测，得到深度特征图；

置信度预测模块，用于基于所述神经网络中的置信度分支网络对所述深度预测模块确定的深度特征图进行置信度预测，得到置信度特征图；

深度确定模块，用于基于所述置信度预测模块确定的置信度特征图，从所述深度特征图中确定所述待预测图像的深度。

根据本公开实施例的还一方面，提供了一种神经网络训练装置，包括：

监督深度确定模块，用于确定训练图像中部分像素点对应的监督深度值，得到监督深度图；

深度预测模块，用于利用神经网络中的深度分支网络对所述训练图像进行深度预测，得到所述训练图像中每个像素点的预测深度值，得到预测深度图；

网络训练模块，用于基于所述深度预测模块确定的预测深度图和所述监督深度确定模块确定的监督深度图，调整所述神经网络的网络参数。

根据本公开实施例的再一方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一实施例所述的图像深度预测方法或上述任一实施例所述的神经网络训练方法。

根据本公开实施例的又一方面，提供了一种电子设备，所述电子设备包括：

处理器；