[发明专利]一种基于多视红外的稠密点云生成方法

权利要求书

1.一种基于多视红外的稠密点云生成方法，其特征在于，所述稠密点云生成方法包括：

获取多目低分辨率红外相机与高分辨率红外相机的内参和外参；

使用多目低分辨率红外相机与高分辨率红外相机得到多目第一低分辨率红外图像和第一高分辨率红外图像；

构建数据集，所述数据集包括多目低分辨率红外相机与高分辨率红外相机的内参和外参、多目第二低分辨率红外图像和第二高分辨率红外图像，所述第二低分辨率红外图像为通过截取所述第一低分辨率红外图像得到，所述第二高分辨率红外图像为通过截取所述第一高分辨率红外图像得到；

将所述数据集输入至待训练的稠密点云生成网络，直至损失函数收敛为止，得到训练好的稠密点云生成网络，所述稠密点云生成网络包括深度估计子网络、多目红外图像配准模块和多目超分辨率子网络；

将待生成的多目低分辨率红外图像输入至训练好的稠密点云生成网络，得到多目低分辨率红外图像的视差图和高分辨率红外图像，以根据多目低分辨率红外图像的视差图和高分辨率红外图像生成稠密点云。

2.根据权利要求1所述的基于多视红外的稠密点云生成方法，其特征在于，获取多目低分辨率红外相机与高分辨率红外相机的内参和外参，包括：

使用多目低分辨率红外相机与高分辨率红外相机同时拍摄红外标定靶，得到若干组标定图像；

使用所述标定图像进行标定得到所有相机的内参和外参。

3.根据权利要求1所述的基于多视红外的稠密点云生成方法，其特征在于，将所述数据集输入至待训练的稠密点云生成网络，直至损失函数收敛为止，得到训练好的稠密点云生成网络，包括：

将所述数据集输入至所述深度估计子网络得到多目第二低分辨率红外图像的视差图，将多目第二低分辨率红外图像的视差图转换为深度图；

基于低分辨率红外相机和高分辨率红外相机间的投影矩阵、多目所述第二低分辨率红外图像的深度图，在多目红外图像配准模块将多目所述第二低分辨率红外图像通过投影法进行配准，得到多目配准后的第二低分辨率红外图像；

将每目配准后的第二低分辨率红外图像和所述第二低分辨率红外图像对应的深度图拼接成的2通道数据输入至所述多目超分辨率子网络得到高分辨率红外图；

通过梯度下降法优化所述损失函数，对稠密点云生成网络的参数进行迭代更新，直至所述损失函数收敛为止，得到训练好的稠密点云生成网络。

4.根据权利要求3所述的基于多视红外的稠密点云生成方法，其特征在于，所述损失函数为：

L＝λ₁L_SR+λ₂L_REP

L_REP＝∑||I_rep-I_lr||₁

其中，L表示稠密点云生成网络的损失函数，L_SR表示超分辨率损失，L_REP表示重投影损失，表示均方误差操作，||·||₁表示一范数操作，I_sr表示超分辨率红外图像，I_hr表示数据集中的高分辨率红外图像投影至多目红外相机位置的重投影红外图像，I_rep表示低分辨率红外图像重投影至其他低分辨率红外图像位置的图像，I_lr表示数据集中的低分辨率红外图像，λ₁和λ₂表示超分辨率损失和重投影损失的权重。

5.根据权利要求1所述的基于多视红外的稠密点云生成方法，其特征在于，所述深度估计子网络的训练过程为：

将第三低分辨率红外图像和第四低分辨率红外图像输入至所述深度估计子网络中，得到所述第三低分辨率红外图像的视差图；

基于所述第四低分辨率红外图像、所述第三低分辨率红外图像的视差图对应的深度图以及内参和外参得到所述第四低分辨率红外图像到所述第三低分辨率红外图像的投影图；

通过梯度下降法优化所述深度估计子网络的损失函数，对所述深度估计子网络的参数进行迭代更新，直至所述深度估计子网络的损失函数收敛为止，得到训练好的深度估计子网络。