[发明专利]一种基于先验约束的单帧视图三维模型点云重建方法和存储设备

说明书

本发明涉及三维视觉技术领域，特别涉及一种基于先验约束的单帧视图三维模型点云重建方法和存储设备。所述一种基于先验约束的单帧视图三维模型点云重建方法，包括步骤：建立3D椭球体；建立基于图的全卷积网络；获取图像特征，对所述3D椭球体进行形变，得优化后的三维网格模型；对所述优化后的三维网格模型进行再次优化；将所述图像特征及再次优化后的三维网格模型进行连接；得新的三维网格模型；对所述新的三维网格模型进行转化得点云模型。通过以上方法，能够通过单帧的RGB图片获取三维模型的表面信息，在加入形状比例先验约束后，能够更好生成接近原始机柜模型比例的新的三维模型，最后根据新的三维模型生成点云模型。

技术领域

本发明涉及三维视觉技术领域，特别涉及一种基于先验约束的单帧视图三维模型点云重建方法和存储设备。

背景技术

现有的三维重建手段包括几何重建、基于网格的重建以及基于点云的重建，其中使用点云表示的三维模型携带更加丰富的信息。点云三维重建技术的重点便在于如何获取目标场景或物体的深度信息。在景物深度信息已知的条件下，只需要经过点云数据的配准及融合，即可实现景物的三维重建。景物即重建对象深度信息的获取多数通过深度相机来实现，基于颜色信息的深度相机获取深度图像时根据对象反射的可见光信息进行生成深度图像。而当对机房中的机柜及其内部服务器设备进行基于点云的三维重建时，由于任务中的机柜表明使用网状的镂空门板，因此在使用深度相机采样重建机柜时反射的可见光信息会被网状门板所阻隔，深度信息大量缺失，难以获得有效的深度图像。

近年来，三维重建技术已经取得较大的进步，基于单张视图来进行三维重建也取得了大的进步，但其还存在较大问题，其主要是因为单张图片给出的信息极其有限，不足以生成绝对完美的重建结构且物体的背部信息缺失。现有的直接使用单帧图像信息来生成点云模型的方法存在的主要难点有：

1)如何在神经网络中表示本质上是不规则图形的网格模型，并且能够有效地从2D规则网格表示的给定彩色图像中提取形状细节。

2)如何有效地向真实信息方向更新顶点位置。在实践中，一个顶点不能有效地从其他有许多边的顶点检索特征，直接预测具有大量顶点的网格的网络很可能在开始时出错，后续很难自动校正和修复。

发明内容

为此，需要提供一种基于先验约束的单帧视图三维模型点云重建方法，用以解决单张图片信息不足，生成点云模型效果差的问题。具体技术方案如下：

一种基于先验约束的单帧视图三维模型点云重建方法，包括步骤：

建立3D椭球体；

建立基于图的全卷积网络；

输入图片至图像特征网络获取图像特征，根据所述图像特征和所述3D椭球体进行形变后投影的图像特征之间的损失计算梯度，得优化后的三维网格模型；

通过所述图的全卷积网络的上采样层对所述优化后的三维网格模型进行再次优化；

将所述图像特征及再次优化后的三维网格模型进行连接；

通过所述图的全卷积网络对连接后的图像特征及再次优化后的三维网格模型进行优化得新的三维网格模型；

对所述新的三维网格模型进行转化得点云模型。

进一步的，所述“输入图片至图像特征网络获取图像特征，根据所述图像特征和所述3D椭球体进行形变后投影的图像特征之间的损失计算梯度，得优化后的三维网格模型”，具体还包括步骤：

对待重建机柜模型的形状进行先验损失的计算。

进一步的，所述“建立基于图的全卷积网络”，具体还包括步骤：

建立一个基于图的全卷积网络，所述图的全卷积网络中的网格中的顶点和边直接表示为图中的节点和连接；

三维图形的网络特征编码信息保存在每个顶点上；