[发明专利]图像深度预测和神经网络训练方法和装置、介质、设备

权利要求书

1.一种图像深度预测方法，包括：

基于神经网络中的深度分支网络对待预测图像中的每个像素点进行深度预测，得到深度特征图；

基于所述神经网络中的置信度分支网络对所述深度特征图进行置信度预测，得到置信度特征图；

基于所述置信度特征图，从所述深度特征图中确定所述待预测图像的深度。

2.根据权利要求1所述的方法，其中，所述基于所述神经网络中的置信度分支网络对所述深度特征图进行置信度预测，得到置信度特征图，包括：

基于所述神经网络中的置信度分支网络对所述深度特征图中的每个深度值进行置信度预测，得到所述深度特征图中的每个深度值的置信度值；

基于所述每个深度值的置信度值，得到所述置信度特征图。

3.根据权利要求1或2所述的方法，其中，所述基于所述置信度特征图，从所述深度特征图中确定所述待预测图像的深度，包括：

基于所述置信度特征图中每个深度值的置信度值，确定所述置信度值大于或等于设定阈值的至少一个像素点；

基于所述置信度值大于或等于所述设定阈值的至少一个像素点在所述深度特征图中对应的深度值，确定所述待预测图像的深度。

4.根据权利要求1-3任一所述的方法，其中，所述方法还包括：

基于雷达确定所述待预测图像中的多个像素点的雷达深度值，得到监督深度图；

基于所述深度特征图和所述监督深度图，确定监督置信度特征图；

基于所述置信度特征图和所述监督置信度特征图，确定网络损失；

基于所述网络损失确定所述神经网络的预测精度。

5.根据权利要求4所述的方法，其中，所述基于所述深度特征图和所述监督深度图，确定监督置信度特征图，包括：

所述基于所述预测深度图和所述监督深度图，得到差异特征图；

基于所述置信度分支网络对所述差异特征图进行归一化处理，得到部分像素点对应的监督置信度，确定所述监督置信度特征图。

6.一种神经网络训练方法，包括：

确定训练图像中部分像素点对应的监督深度值，得到监督深度图；

利用神经网络中的深度分支网络对所述训练图像进行深度预测，得到所述训练图像中每个像素点的预测深度值，得到预测深度图；

基于所述预测深度图和所述监督深度图，调整所述神经网络的网络参数。

7.一种图像深度预测装置，包括：

深度图确定模块，用于基于神经网络中的深度分支网络对待预测图像中的每个像素点进行深度预测，得到深度特征图；

置信度预测模块，用于基于所述神经网络中的置信度分支网络对所述深度图确定模块确定的深度特征图进行置信度预测，得到置信度特征图；

深度确定模块，用于基于所述置信度预测模块确定的置信度特征图，从所述深度特征图中确定所述待预测图像的深度。

8.一种神经网络训练装置，包括：

监督深度确定模块，用于确定训练图像中部分像素点对应的监督深度值，得到监督深度图；

深度预测模块，用于利用神经网络中的深度分支网络对所述训练图像进行深度预测，得到所述训练图像中每个像素点的预测深度值，得到预测深度图；

网络训练模块，用于基于所述深度预测模块确定的预测深度图和所述监督深度确定模块确定的监督深度图，调整所述神经网络的网络参数。

9.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-6任一所述的方法。

10.一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-6任一所述的方法。