[发明专利]一种单目深度估计方法、装置、终端和存储介质

权利要求书

1.一种单目深度估计方法，其特征在于，包括：

获取单目视频；

根据预设重建算法确定所述单目视频中关键图像帧对应的半稠密深度图；其中，所述关键图像帧是根据预设挑选规则从所述单目视频对应的图像帧序列中选取的某个图像帧；

将所述关键图像帧与所述半稠密深度图作为预设神经网络模型的输入，根据所述预设神经网络模型的输出确定所述关键图像帧对应的稠密深度图；

其中，在将所述关键图像帧与所述半稠密深度图作为预设神经网络模型的输入，根据所述预设神经网络模型的输出确定所述关键图像帧对应的稠密深度图之前，还包括：获取训练样本数据，其中，所述训练样本数据包括：多个图像样本、与所述图像样本对应的半稠密深度图、以及与所述图像样本对应的实际稠密深度图；

创建预设网络模型；

根据所述训练样本数据以及网络误差函数，对所述预设网络模型进行训练；

当所述网络误差函数收敛时，所述预设网络模型训练完成，并将训练完成的预设网络模型确定为预设神经网络模型；

所述预设网络模型包括第一输入端以及第二输入端；其中，所述第一输入端用于输入所述图像样本；所述第二输入端用于输入与所述图像样本对应的半稠密深度图；所述预设网络模型还包括编码器和解码器，所述编码器包括第一卷积分支、第二卷积分支和并联卷积模块；其中，所述第一卷积分支用于对所述第一输入端输入的图像样本进行卷积；所述第二卷积分支用于对所述第二输入端输入的半稠密深度图进行卷积；所述并联卷积模块用于将所述第一卷积分支的第一卷积结果与所述第二卷积分支的第二卷积结果进行并联，并对并联后的特征图进行卷积；其中，所述并联卷积模块包括InceptionV4模块和InceptionV5模块，所述InceptionV4模块和InceptionV5模块用于对并联后的特征图进行卷积；所述InceptionV4模块和InceptionV5模块是GoogLeNet网络结构中的卷积模块；

所述解码器包括上采样模块，其中，所述上采样模块用于对编码器卷积后的特征图进行上采样；其中，所述解码器和所述编码器构成跨越连接，所述跨越连接包括：将编码器经过卷积输出的特征图与解码器中分辨率相同的特征图进行并联。

2.根据权利要求1所述的方法，其特征在于，所述预设重建算法包括：基于直接法的大范围单目即时定位与地图构建算法LSD-SLAM；

相应的，根据预设重建算法确定所述单目视频中关键图像帧对应的半稠密深度图，包括：

根据所述单目视频中关键图像帧的第一深度图将光度误差进行最小化，确定所述单目视频中的当前图像帧与所述关键图像帧之间的当前相机位姿；

根据所述当前相机位姿对所述当前图像帧和所述关键图像帧中的高梯度像素点进行三角测量，确定所述关键图像帧的第二深度图；

将所述第一深度图和所述第二深度图进行高斯融合，更新所述关键图像帧的第一深度图；

若所述当前图像帧的后一图像帧与所述关键图像帧之间的后一相机位姿超过预设相机位姿，则将更新后的第一深度图确定为所述关键图像帧的半稠密深度图。

3.根据权利要求1所述的方法，其特征在于，根据所述训练样本数据以及网络误差函数，对所述预设网络模型进行训练，包括：

将所述图像样本以及与所述图像样本对应的半稠密深度图作为所述预设网络模型的输入，并根据所述预设网络模型的输出确定与所述图像样本对应的输出深度图；

根据与所述图像样本对应的输出深度图、与所述图像样本对应的实际稠密深度图、以及网络误差函数，计算网络误差值；

根据所述网络误差值通过预设最优化算法更新所述预设网络模型。

4.根据权利要求1所述的方法，其特征在于，所述网络误差函数为：

其中，I是任意一张图像样本；W和H分别为图像样本I的宽和高；T(I)_x,y是图像样本I对应的实际稠密深度图中像素点(x,y)处的实际深度值；θ_G是所述预设网络模型中的生成参数；D_sd是与所述图像样本I对应的半稠密深度图；是与所述图像样本I对应的输出深度图中像素点(x,y)处的输出深度值。