[发明专利]一种基于先验约束的单帧视图三维模型点云重建方法和存储设备

权利要求书

1.一种基于先验约束的单帧视图三维模型点云重建方法，其特征在于，包括步骤：

建立3D椭球体；

建立基于图的全卷积网络；

输入图片至图像特征网络获取图像特征，根据所述图像特征和所述3D椭球体进行形变后投影的图像特征之间的损失计算梯度，得优化后的三维网格模型；

通过所述图的全卷积网络的上采样层对所述优化后的三维网格模型进行再次优化；

将所述图像特征及再次优化后的三维网格模型进行连接；

通过所述图的全卷积网络对连接后的图像特征及再次优化后的三维网格模型进行优化得新的三维网格模型；

对所述新的三维网格模型进行转化得点云模型；

所述“建立基于图的全卷积网络”，具体还包括步骤：

建立一个基于图的全卷积网络，所述图的全卷积网络中的网格中的顶点和边直接表示为图中的节点和连接；

三维图形的网络特征编码信息保存在每个顶点上；

通过前向传播，卷积层对相邻节点间的特征进行交换，回归出每个顶点的三维位置；

所述位置的信息由倒角损失来约束，倒角距离测量每个点到另一组的距离：

通过下式定义表面法线上的损失来描述高阶性质:

其中q为p在计算倒角损失时所找到的最近顶点，k为p的邻近像素，p-k,n_q为两个向量的内积，n_q为真值中观测曲面的法向；

所述“输入图片至图像特征网络获取图像特征”，具体还包括步骤：

给定顶点的三维坐标，通过摄像机内置函数计算其在输入图像平面上的二维投影，使用双线性插值将附近四个像素的特征集合到一起；

使用损失函数L′_scale来约束投影的物体边长比例：

其中x₁，y₁，z₁分别为投影物体的长宽高，x₂，y₂，z₂分别为真实场景中的长宽高；

所述“将所述图像特征及再次优化后的三维网格模型进行连接”，具体还包括步骤：

将所述图像特征连接起来，最终得到的总维度为1280；

将总维度为1280的感知特征与优化后的三维网格模型的128维3D特征连接起来，得到的总维数为1408；

其最后的三维网格模型损失约束为：

其中，L′_scale为2D投影与真值的损失，l_c为倒角损失，后半部分为抑制网格变形量的边长正则化损失。

2.根据权利要求1所述的一种基于先验约束的单帧视图三维模型点云重建方法，其特征在于，所述“输入图片至图像特征网络获取图像特征，根据所述图像特征和所述3D椭球体进行形变后投影的图像特征之间的损失计算梯度，得优化后的三维网格模型”，具体还包括步骤：

对待重建机柜模型的形状进行先验损失的计算。

3.根据权利要求1所述的一种基于先验约束的单帧视图三维模型点云重建方法，其特征在于，所述“通过所述图的全卷积网络对连接后的图像特征及再次优化后的三维网格模型进行优化得新的三维网格模型”，具体还包括步骤：

通过图的全卷积神经网络来预测每个顶点新的位置和三维形状特征；

在最后一层特征上输出顶点的三维坐标，得到新的三维网格模型。

4.根据权利要求1所述的一种基于先验约束的单帧视图三维模型点云重建方法，其特征在于，所述“对所述新的三维网格模型进行转化得点云模型”，具体还包括步骤：

通过转换软件将所述新的三维网格模型进行转化得点云模型。

5.一种存储设备，其中存储有指令集，其特征在于，所述指令集用于执行：权利要求1至4任意一权利要求的步骤。