[发明专利]基于帧间相关性的单目深度估计方法及系统

权利要求书

1.基于帧间相关性的单目深度估计方法，其特征在于，包括如下过程：

通过构建的深度估计网络对获取的当前帧图像进行处理，得到多尺度的深度特征，以及当前帧图像与上一帧图像的相机变换姿态；

构建卷积-独立循环神经网络，将多尺度的深度特征作为输入，提取当前帧图像的深度特征，并提取当前帧图像与下一帧图像的帧间相关性；

根据上一帧图像处理过程中独立循环神经网络提取的帧间相关性，上一帧图像处理后得到的深度图，以及当前帧图像与上一帧图像的相机变换姿态变换，将前一时刻帧的独立循环网络隐藏层状态映射为与当前时刻一致的隐藏层状态，根据映射后的状态对当前帧图像的深度特征进行增强，得到增强后的深度特征；

将增强后的深度特征进行解码，得到当前帧图像的深度图；

循环执行上述过程得到连续帧图像每一帧图像对应的深度图。

2.如权利要求1所述的基于帧间相关性的单目深度估计方法，其特征在于：深度估计网络包括姿态变换网络和深度估计网络；

深度估计网络被配置为用于提取多尺度的深度特征，姿态变换网络被配置为用于提取对应不同时刻的相机变换姿态。

3.如权利要求2所述的基于帧间相关性的单目深度估计方法，其特征在于：

深度估计网络包括依次连接的深度编码器以及深度解码器，以及上采样模块，上采样模块连接深度编码器每一级以及深度解码器的每一级；

或者，姿态变化网络和深度估计网络采用特征提取网络共享的方式；

或者，姿态变换网络包括特征提取网络以及卷积网络，特征提取网络为残差网络，卷积网络包括多个级联的卷积层。

4.如权利要求3所述的基于帧间相关性的单目深度估计方法，其特征在于：构建的整体网络模型，包括姿态变换网络和深度估计网络，深度估计网络的深度编码器与深度解码器之间设置有卷积-独立循环神经网络，用于获取帧间相关性对每帧图像编码后的特征进行特征增强。

5.如权利要求4所述的基于帧间相关性的单目深度估计方法，其特征在于：

还包括整体网络模型进行训练的方法，包括如下步骤：

构建训练集，训练集包括多帧图像，上一帧图像作为当前帧图像的源帧图像进行训练；

设置卷积-独立循环网络的初始隐藏层状态，利用深度编码器对源帧I_t-1进行特征提取，获得源帧的多尺度深度特征f_t-1；

将源帧的多尺度深度原始特征f_t-1分别输入到卷积-独立循环网络中，更新隐藏层状态h_t-1和输出多尺度深度特征f′_t-1；

利用深度解码器对多尺度增强的深度特征f′_t-1进行解码，获得源帧的深度图D_t-1；

利用深度解码器对当前目标帧I_t进行特征提取，获得目标帧的多尺度原始深度特征f_t；

利用姿态估计网络预测出的目标帧和源帧相机姿态变化T_t→s和源帧的深度图D_t-1实现隐藏层状态的映射h′_t-1；

将目标帧多尺度原始深度特征f_t与压缩后源帧多尺度深度特征f_t-1拼接后输入到卷积-独立循环网络中，利用映射后的隐藏层状态h′_t-1来更新隐藏层状态h_t和输出目标帧多尺度增强的深度特征f′_t；

利用深度解码器对多尺度增强的深度特征f′_t进行解码，获得目标帧的深度图D_t；

利用姿态估计网络预测出的目标帧和源帧相机姿态变化T_t→s和目标帧的深度图D_t实现源帧I_S重建目标帧I_t来提供网络训练的监督信号，构建损失函数L，用L进行监督，计算损失函数L的值达到设定的数值或者达到设定的训练次数，训练结束，确定模型参数，得到训练后的网络模型。