[发明专利]一种单目视频的深度估计方法、装置、终端和存储介质

权利要求书

1.一种单目视频的深度估计方法，其特征在于，包括：

获取单目视频的图像帧序列，并根据相机姿态估计算法，计算所述序列中相邻两张图像帧之间的姿态关系；

依次将所述序列中的各图像帧作为预设神经网络模型的输入，并根据所述预设神经网络模型的输出确定各所述图像帧的初始深度图和初始不确定度分布图；

根据各所述姿态关系以及各所述图像帧的初始深度图和初始不确定度分布图进行帧间信息传递和融合，依次确定各所述图像帧的最终深度图和最终不确定度分布图；

在使用所述预设神经网络模型之前，还包括：

建立预设神经网络子模型，并获取训练样本数据；

根据所述训练样本数据和网络子模型损失函数对所述预设神经网络子模型进行训练，其中，所述预设神经网络子模型的输出为初始深度图和初始置信度分布图；

于所述预设神经网络子模型训练结束后，根据输出转化关系，对所述预设神经网络子模型输出的初始置信度分布图进行转化，确定与所述初始置信度分布图对应的初始不确定度分布图，并将转化后的预设神经网络子模型确定为预设神经网络模型；

所述网络子模型损失函数根据如下公式确定：

l＝αl_D+βl_U(0＜α＜1；0＜β＜1) (1)

l_D＝∑_x∈X|d(x)-d_gt(x)| (2)

l_U＝l_c+l_r (3)

l_r＝∑_x∈Xγ|c(x)|(0＜γ＜1) (4)

l_c＝∑_x∈X|c(x)-c_gt(x)| (5)

其中，l是所述网络子模型损失函数，l_D是深度损失函数，l_U是利用置信度表示的不确定度损失函数，x是图像帧中的任一像素点，X是图像帧中所有像素点的集合，d(x)是根据所述预设神经网络子模型的输出确定的像素点x对应的输出深度值，d_gt(x)是像素点x的实际深度值，l_c是置信度损失函数，l_r是用于控制c(x)收敛速度的惩罚系数，c(x)是根据所述预设神经网络子模型的输出确定的像素点x对应的输出置信度，c_gt(x)是像素点x的实际置信度，α是所述深度损失函数的权重系数，β是所述不确定度损失函数的权重系数、γ是所述输出置信度c(x)的权重系数。

2.根据权利要求1所述的方法，其特征在于，根据各所述姿态关系以及各所述图像帧的初始深度图和初始不确定度分布图进行帧间信息传递和融合，依次确定各所述图像帧的最终深度图和最终不确定度分布图，包括：

根据当前图像帧与前一图像帧之间的姿态关系以及所述前一图像帧的最终深度图和最终不确定度分布图，计算所述当前图像帧的传递深度图和传递不确定度分布图；

根据预设融合方式，将所述当前图像帧的初始深度图和初始不确定度分布图以及所述传递深度图和传递不确定度分布图进行融合，确定所述当前图像帧的最终深度图和最终不确定度分布图。

3.根据权利要求2所述的方法，其特征在于，根据当前图像帧与前一图像帧之间的姿态关系以及所述前一图像帧的最终深度图和最终不确定度分布图，计算所述当前图像帧的传递深度图和传递不确定度分布图，包括：

将前一图像帧中的所有像素点逐个作为目标像素点，根据所述前一图像帧的最终深度图和最终不确定度分布图，确定所述目标像素点对应的目标深度值和目标不确定度；

根据相机参数和所述目标像素点的第一像素坐标以及所述目标深度值确定所述目标像素点对应的三维空间点的第一空间坐标；

根据所述前一图像帧与当前图像帧之间的姿态关系、所述第一空间坐标和所述相机参数确定所述三维空间点在当前图像帧上的投影像素点的第二像素坐标以及所述投影像素点对应的传递深度值；

根据所述目标不确定度确定所述投影像素点对应的传递不确定度。