[发明专利]模型训练方法及装置、深度预测方法及装置、设备和介质

说明书

本公开提供了一种模型训练方法及装置、深度预测方法及装置、设备和介质，涉及人工智能领域，具体涉及计算机视觉和深度学习技术。方案为：采用深度估计模型中的至少两预测分支对源图像相邻的至少一目标图像进行深度预测，及对各目标图像相邻和/或间隔设定帧数的邻近图像进行深度预测；根据预测的深度值，确定将各目标图像重投影至源图像的第一重投影误差，及确定将各邻近图像重投影至对应目标图像的第二重投影误差；根据各重投影误差中的最小值对至少两预测分支中的第一预测分支进行训练，及根据各重投影误差确定均值，根据均值和最小值之间的第一差异对至少两预测分支中的第二预测分支进行训练。由此，可以提升深度预测结果的准确性和可靠性。

技术领域

本公开涉及人工智能领域，具体涉及计算机视觉和深度学习技术，尤其涉及模型训练方法及装置、深度预测方法及装置、设备和介质。

背景技术

深度预测又称为深度估计，是指利用一张或者唯一/多个视角下的RGB(Red GreenBlue，红绿蓝)图像(2D图像)，估计该图像中每个像素点相对拍摄源(即图像采集设备)的距离。深度预测是场景重建和理解任务的关键步骤，在计算机视觉领域属于3D重建的重要部分。

例如，在车载摄像头、监控摄像头等场景中，需要对路面状况进行分析，此时可对摄像头采集的图像中各道路要素进行深度估计，从而可以根据深度估计结果分析路面状况，以提高驾驶安全性、减少拥堵、提高交通效率。

因此，如何实现对图像中各像素点的深度进行预测是非常重要的。

发明内容

本公开提供了一种用于模型训练方法及装置、深度预测方法及装置、设备和介质。

根据本公开的一方面，提供了一种模型训练方法，包括：

从图像采集设备采集的多帧图像中，确定至少一帧源图像；

采用深度估计模型中的至少两预测分支，对所述源图像相邻的至少一目标图像进行深度预测，以及采用所述至少两预测分支，对各所述目标图像相邻和/或间隔设定帧数的邻近图像进行深度预测；

根据所述至少两预测分支对各所述目标图像中各像素点预测的深度值，确定将各所述目标图像重投影至所述源图像的第一重投影误差，以及根据所述至少两预测分支对各所述邻近图像中各像素点预测的深度值，确定将各所述邻近图像重投影至对应目标图像的第二重投影误差；

根据各所述第一重投影误差和各所述第二重投影误差中的最小值对所述至少两预测分支中的第一预测分支进行训练，以及根据各所述第一重投影误差和各所述第二重投影误差确定均值，根据所述均值和所述最小值之间的第一差异对所述至少两预测分支中的第二预测分支进行训练。

根据本公开的另一方面，提供了一种深度预测方法，包括：

获取待检测图像；

采用深度估计模型中的第一预测分支，对所述待检测图像中各像素点进行深度预测，得到所述待检测图像中各像素点的第一预测深度值及对应的第一预测深度置信度；其中，所述深度估计模型是采用本公开上述实施例提出的模型训练方法训练得到的；

采用所述深度估计模型中的第二预测分支，对所述待检测图像中各像素点进行深度预测，得到所述待检测图像中各像素点的第二预测深度值及对应的第二预测深度置信度；

确定所述待检测图像中各像素点对应的第一预测深度置信度和第二预测深度置信度中的最大置信度，并将所述最大置信度对应的预测深度值，作为相应像素点对应的目标深度值。

根据本公开的又一方面，提供了一种模型训练装置，包括：

第一确定模块，用于从图像采集设备采集的多帧图像中，确定至少一帧源图像；