[发明专利]一种基于深度学习的三维模型重建技术

说明书

本发明公开了一种基于深度学习的三维模型重建技术，通过Kinect传感器对物体进行全方位的拍摄，获取物体的深度图像和彩色图像，对深度图像进行去噪和修复等图像增强过程，获得深度图像的二维信息，对深度图像进行点云计算，以场景的公共部分为基准对深度图像依次进行粗糙配准、精细配准、全局配准，把不同时间、角度、照度获取的多帧图像叠加匹配到统一的坐标系中，计算出相应的平移向量与旋转矩阵，同时消除冗余信息，经过配准后的深度信息仍为空间中散乱无序的点云数据，仅能展现景物的部分信息，对点云数据进行融合处理，以获得更加精细的重建模型，计算机视觉知识推到出现实中物体的三维信息。

技术领域

本发明涉及三维重建技术领域，特别涉及一种基于深度学习的三维模型重建技术。

背景技术

在计算机视觉和计算机图形学中，三维重建是捕捉真实物体形状和外观的过程，这个过程可以通过主动或被动方法完成。三维模型经常用三维建模工具这种专门的软件生成，但是也可以用其它方法生成。作为点和其它信息集合的数据，三维模型可以手工生成，也可以按照一定的算法生成。尽管通常按照虚拟的方式存在于计算机或者计算机文件中，但是在纸上描述的类似模型也可以认为是三维模型。三维模型广泛用任何使用三维图形的地方。实际上，它们的应用早于个人电脑上三维图形的流行。许多计算机游戏使用预先渲染的三维模型图像作为sprite用于实时计算机渲染。

发明内容

本发明的主要目的在于提供一种基于深度学习的三维模型重建技术，可以有效解决背景技术中的问题。

为实现上述目的，本发明采取的技术方案为：

一种基于深度学习的三维模型重建技术，通过摄像机获取场景物体的数据图像，并对此图像进行分析处理，再结合计算机视觉知识推到出现实中物体的三维信息；

包括如下步骤：

步骤一：旋转Kinect传感器对物体进行全方位的拍摄，获取物体的深度图像和彩色图像；

步骤二：对获取的深度图像进行去噪和修复等图像增强过程，获取深度图像的二维信息，像素点的值是深度信息，表示物体表面到Kinect传感器之间的距离，以毫米为单位；

步骤三：摄像机成像原理为基础，世界坐标系与图像像素坐标系之间具有下式的转换关系：

由于fdx和fdy始终在一起

步骤四：提取两帧图像之间的特征点，这种特征点可以是直线、拐点、曲线曲率等显示特征，也可以是自定义的符号、旋转图形、轴心等类型的特征，根据特征方程实现初步的配准，粗糙配准后的点云和目标点将处于同一尺度与参考坐标系内，通过自动记录坐标，的到粗匹配初始值；

经过前一步粗配准，得到了变换估计值，将此值作为初始值，在经过不断收敛与迭代的精细配准后，达到更加精准的效果，基于最小二乘法对误差函数进行最小化处理，经过反复迭代，直到均方误差小于设定的阈值，ICP算法能够获得精正确无误的配准结果，对自由形态曲面配准问题具有重要意义；

通过对两帧精细配准结果，按照一定的顺序或一次性的进行多帧图像的配准，这两种配准方式分别称为序列配准和同步配准，配准过程中，匹配误差被均匀的分散到各个视角的多帧图像中，达到削减多次迭代引起的累积误差的效果；

步骤五：经过配准后的深度信息仍为空间中散乱无序的点云数据，仅能展现景物的部分信息，需要对点云数据进行融合处理，以获得更加精细的重建模型。以Kinect传感器的初始位置为原点构造体积网格，网格把点云空间分割成极多的细小立方体，这种立方体叫做体素，通过为所有体素赋予SDF 值，来隐式的模拟表面；