[发明专利]基于二维目标检测和模型对齐的三维场景重建方法、存储介质及终端

权利要求书

1.基于二维目标检测和模型对齐的三维场景重建方法，其特征在于：所述方法包括：

获取图像的包围框信息，根据图像的包围框信息结合相机内参计算三维空间中的视锥体范围，并根据视锥体范围对待重建的扫描场景进行裁剪；

在裁剪后的扫描场景进行模型检索、模型对齐处理，得到与裁剪后的扫描场景模型匹配的对象模型；

预测所有与裁剪后的扫描场景模型匹配的第一对象模型的位置姿态参数，根据位置姿态参数使第一对象模型替换扫描场景中的对应点云，实现三维场景的重建；

所述根据图像的包围框信息结合相机内参计算三维空间中的视锥体范围，具体包括：

根据相机的视场范围构建视锥体投影矩阵进而确定三维空间中的视锥体范围，视锥体投影矩阵的计算公式为：

其中，FOV表示相机的视场范围，R表示视锥体的宽高比，N，F分别表示视锥体的近平面距离以及远平面距离；

述根据视锥体范围对待重建的扫描场景进行裁剪，具体包括：

将对象模型顶点的齐次坐标[x,y,z,w]经视锥体投影矩阵变换后，将对象模型顶点的齐次坐标的x,y,z分量与变换后的w分量进行比较，进而判断对象模型顶点是否处于视锥体内部；

所述方法还包括：

获取图像的对象类型，并根据对象类型从对象模型数据库获取类型匹配的对象模型；

将类型匹配的对象模型、剪裁后的扫描场景进行模型检索，判断对象模型与剪裁后的扫描场景模型是否匹配，若是，将相互匹配的对象模型与剪裁后的扫描场景模型进行对齐处理；

所述将相互匹配的对象模型与剪裁后的扫描场景模型进行对齐处理，具体包括：

将裁剪后的扫描场景进行三维语义分割，得到对象模型在扫描场景中的平均坐标；

根据对象模型的平均坐标、裁剪后的扫描场景的顶点坐标回归预测对象模型的平均坐标与真实坐标的偏移量，得到对象模型的真实坐标；

将对象模型的真实坐标与语义分割后的对象模型进行包围盒预测处理，得到对象模型在场景中的位置姿态参数。

2.根据权利要求1所述的基于二维目标检测和模型对齐的三维场景重建方法，其特征在于：所述图像具体为具有深度信息的RGB-D图像。

3.根据权利要求1所述的基于二维目标检测和模型对齐的三维场景重建方法，其特征在于：所述将齐次坐标的x,y,z分量与变换后的w分量进行比较，具体为：

-w≤x≤w

-w≤y≤w

-w≤z≤w

若对象模型顶点的齐次坐标的x,y,z分量满足上式条件，则对象模型顶点处于视锥体内部，反之，对象模型顶点处于视锥体外部。

4.根据权利要求1所述的基于二维目标检测和模型对齐的三维场景重建方法，其特征在于：所述将相互匹配的对象模型与剪裁后的扫描场景模型进行对齐处理的损失函数计算公式为：

L＝L_seg+λ(L_c1+L_c2+L_s+L_h+γL_corner)

L_seg表示三维语义分割的损失函数，L_c1、L_c2分别表示回归预测处理、包围盒预测处理的中心坐标偏移损失函数，L_s、L_h分别表示包围盒预测处理的包围盒大小损失函数与朝向损失函数，λ、γ分别表示用于控制各个损失函数权重的超参数；L_corner表示包围盒预测处理、真实包围盒的八个对应角点之间的距离之和。

5.一种存储介质，其上存储有计算机指令，其特征在于：所述计算机指令运行时执行权利要求1-4任意一项所述的基于二维目标检测和模型对齐的三维场景重建方法的步骤。

6.一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，其特征在于：所述处理器运行所述计算机指令时执行权利要求1-4任意一项所述的基于二维目标检测和模型对齐的三维场景重建方法的步骤。