[发明专利]模型训练方法及装置、深度预测方法及装置、设备和介质

权利要求书

1.一种模型训练方法，所述方法包括：

从图像采集设备采集的多帧图像中，确定至少一帧源图像；

采用深度估计模型中的至少两预测分支，对所述源图像相邻的至少一目标图像进行深度预测，以及采用所述至少两预测分支，对各所述目标图像相邻和/或间隔设定帧数的邻近图像进行深度预测；

根据所述至少两预测分支对各所述目标图像中各像素点预测的深度值，确定将各所述目标图像重投影至所述源图像的第一重投影误差，以及根据所述至少两预测分支对各所述邻近图像中各像素点预测的深度值，确定将各所述邻近图像重投影至对应目标图像的第二重投影误差；

根据各所述第一重投影误差和各所述第二重投影误差中的最小值对所述至少两预测分支中的第一预测分支进行训练，以及根据各所述第一重投影误差和各所述第二重投影误差确定均值，根据所述均值和所述最小值之间的第一差异对所述至少两预测分支中的第二预测分支进行训练。

2.根据权利要求1所述的方法，其中，所述采用深度估计模型中的至少两预测分支，对所述源图像相邻的至少一目标图像进行深度预测，包括：

针对每帧所述目标图像，采用所述第一预测分支，对所述目标图像中的各像素点进行深度预测，得到所述目标图像中各像素点的第一深度值及对应的第一深度置信度；

采用所述第二预测分支，对所述目标图像中的各像素点进行深度预测，得到所述目标图像中各像素点的第二深度值及对应的第二深度置信度；

确定所述目标图像中各像素点对应的第一深度置信度和第二深度置信度中的最大值；

将所述最大值对应的深度值，确定为所述至少两预测分支对所述目标图像中相应像素点预测的深度值。

3.根据权利要求2所述的方法，其中，所述根据所述至少两预测分支对各所述目标图像中各像素点预测的深度值，确定将各所述目标图像重投影至所述源图像的第一重投影误差，包括：

针对每帧所述目标图像，采用所述深度估计模型中的位姿预测分支进行位姿预测，以确定所述源图像与所述目标图像之间的相对位姿；

根据所述相对位姿、所述至少两预测分支对所述目标图像中各像素点预测的深度值以及所述图像采集设备的内参，确定所述目标图像中各像素点重投影至所述源图像上时对应的重投影图像；

根据所述重投影图像和所述目标图像之间的第二差异，确定所述目标图像重投影至所述源图像的第一重投影误差。

4.根据权利要求1-3中任一项所述的方法，其中，所述根据所述均值和所述最小值之间的第一差异对所述至少两预测分支中的第二预测分支进行训练，包括：

响应于所述第一差异小于设定阈值，根据所述第一差异，生成所述第二预测分支对应的第一损失函数；

根据所述第一损失函数，对所述第二预测分支中的模型参数进行调整，以使所述第一损失函数最小化。

5.根据权利要求4所述的方法，其中，所述根据各所述第一重投影误差和各所述第二重投影误差中的最小值对所述至少两预测分支中的第一预测分支进行训练，包括：

响应于所述第一差异小于设定阈值，根据所述最小值，生成所述第一预测分支对应的第二损失函数；

根据所述第二损失函数，对所述第一预测分支中的模型参数进行调整，以使所述第二损失函数最小化。

6.一种深度预测方法，所述方法包括：

获取待检测图像；

采用深度估计模型中的第一预测分支，对所述待检测图像中各像素点进行深度预测，得到所述待检测图像中各像素点的第一预测深度值及对应的第一预测深度置信度；其中，所述深度估计模型是采用权利要求1至5任一所述的方法训练得到的；

采用所述深度估计模型中的第二预测分支，对所述待检测图像中各像素点进行深度预测，得到所述待检测图像中各像素点的第二预测深度值及对应的第二预测深度置信度；

确定所述待检测图像中各像素点对应的第一预测深度置信度和第二预测深度置信度中的最大置信度，并将所述最大置信度对应的预测深度值，作为相应像素点对应的目标深度值。