[发明专利]一种基于自监督学习的前视场景深度估计方法

权利要求书

1.一种基于自监督学习的前视场景深度估计方法，其特征在于，包括以下步骤：

计算自监督学习重投影公式；

构建深度估计和位姿估计联合训练网络，设计损失函数，对KITTI可见光数据进行预训练得到可见光预训练模型；

将可见光预训练模型迁移至FLIR红外数据集进行训练，实现红外图像的稠密深度估计。

2.根据权利要求1所述的一种基于自监督学习的前视场景深度估计方法，其特征在于，计算自监督学习重投影公式的具体步骤包括：

根据设备参数计算相机的内参矩阵k；

其中，f为相机焦距，d_x和d_y为相机成像传感器的像元尺寸，u₀和v₀位图像中心点坐标，H为图像的水平分辨率，W为图像的垂直分辨率，f_ovh为相机的水平直视场角，f_ovw为相机的垂直场视角；

将三位点投影到二维平面，计算相机坐标系与世界坐标系的坐标转换；

其中，D从相机角度观察到的三位空间中某点距离相机的水平深度，即像素深度，u和v为该点在相机成像平面的坐标，P_uv和P_c分别表示二维像素坐标和三维相机坐标系下的值，k为相机内参矩阵，x_w、y_w和z_w为该点在世界坐标系下的坐标，x_c、y_c和z_c为该点在相机坐标系下的坐标。t为相机坐标系和世界坐标系之间的位移向量，R为相机坐标系和世界坐标系之间的旋转矩阵，T为位姿变换矩阵；

得到自监督学习核心公式；

p_t-1～kT_t→t-1D_t(p_t)k^-1p_t (4)

其中，p_t为某像素在t时刻的坐标，k为相机内参矩阵，D为像素深度，T_t→t-1为t时刻和t-1时刻相机的位姿转换矩阵。

3.根据权利要求1所述的一种基于自监督学习的前视场景深度估计方法，其特征在于，得到可见光预训练模型的具体步骤包括：

根据学习任务构建两个需要联合训练的网络，采用ResNet-18网络结构作为深度估计网络编码器，通过上采样将编码特征恢复为深度图，采用ResNet-18网络结构作为位姿估计网络编码器，使用小型卷积核进行降维，估算两帧之间的相机六自由度运动；

深度估计网络中，编码器依次将提取的每一层特征数量下采样到不同维度，将高维特征通过最大值池化降低尺度，进行下一步特征提取，得到尺寸小于原输入图像尺寸的图像；位姿估计网络中，输入两张叠放一起的图像，使用相同编码器，特征维度提取至2014维；

将深度网络中提取的不同深度图统一上采样，将解码器得到的尺寸小于原输入图像尺寸的图像，统一上采样至原输入图像尺寸；位姿估计网络中利用卷积结合方式进行降维，得到六自由度位姿变换关系；

设计损失函数；

重投影损失：

边缘平滑损失：

总损失函数：L＝μL_rc+λL_s (7)

其中，I_n表示原图像，表示重投影之后的图像，和为重建的前后帧图像像素值，p_-1和p₊₁为实际的前后帧像素值，N为图像像素总个数，SSIM为原图像与重投影之后图像的结构相似性评估，为深度平滑项，用于抑制深度图生成局部奇异噪声，为边缘感知项，用于鼓励模型学习深度梯度变化较大的边缘处信息，α为重投影损失中SSIM和L1范数损失加权系数，μ和λ为总损失中两个损失的加权系数；

根据最小重投影误差，选取前后帧损失的最小值，在KITTI可见光数据集内作预训练，得到预训练模型。