[发明专利]一种基于激光和相机传感器的三维模型生成方法及其系统

说明书

本申请涉及三维建模技术领域，特别涉及到一种基于激光和相机传感器的三维模型生成方法及其系统；本申请通过对相机模组的标定，得到激光相对于相机的位置和姿态，进行点云图像对齐、稠密化和网格化，再进行纹理映射，鲁棒生成三维模型，通过激光数据弥补了基于纯图像数据建模的不足之处，极大提升了建模稳定性，降低了对拍摄和模型内容的要求；而且将传统纯图像建模的思路应用到激光点云上，从而可以得到一个完整的能用于更多领域的三维模型。

技术领域

本申请涉及三维建模技术领域，特别涉及到一种基于激光和相机传感器的三维模型生成方法及其系统。

背景技术

在游戏、影视甚至数字孪生应用中，需要构建大量的三维模型，这些三维模型通常是由专业的3D建模师通过专业软件手工搭建而成；生产成本，周期极高，还需大量的后期维护成本。

目前很多基于多角度对同一个物体拍摄多张图像或者视频来生成一个三维模型，这样的方法要么对拍摄场景有较多的限制，要么需要昂贵的专业的设备仪器才能满足建模要求，这种类似的方法几乎无法用于室内场景的建模。

发明内容

本申请主要解决的技术问题是提供一种基于激光和相机传感器的三维模型生成方法，通过对相机模组的标定，得到激光相对于相机的位置和姿态，进行点云图像对齐、稠密化和网格化，再进行纹理映射，鲁棒生成三维模型，通过激光数据弥补了基于纯图像数据建模的不足之处，极大提升了建模稳定性，降低了对拍摄和模型内容的要求；而且将传统纯图像建模的思路应用到激光点云上，从而可以得到一个完整的能用于更多领域的三维模型；还提供了一种基于激光和相机传感器的三维模型生成系统。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种基于激光和相机传感器的三维模型生成方法，其中，包括如下步骤：

步骤S1、采用棋盘格对相机模组进行标定，且使相机模组对准棋盘格，采集相机和激光数据，同时检测到图像和激光点云上对应在棋盘格上的点，从而得到激光相对于相机的位置和姿态变换关系；

步骤S2、通过标定好的相机模组扫描整个需要建模的空间，采集图像和激光点云数据，结合步骤S1的标定信息，对激光扫描过程中出现的重叠点和图像重叠区进行检测对比，从而获得相机模组在采集过程中运动姿态和轨迹；

步骤S3、将每帧采集到的激光点云数据投影到对应帧的图像上，从而和图像数据对齐，得到图像对应点的深度，生成原始深度图；

步骤S4、对原始深度图进行稠密化，得到完整深度图，再对完整深度图进行滤波，得到稠密点云；

步骤S5、对稠密点云网格化，得到粗网格，再对粗网格进行处理，得到优质网格；

步骤S6、将优质网格投影到相机视角中，得到每个面对应的图像信息，再将同一个面在不同相机视角中的图像信息进行融合，生成每一面融合后的纹理信息，再将所有面的纹理信息整合得到纹理图像，将纹理图像转成三维模型格式进行输出。

作为本申请的一种改进，在步骤S1内，制备一个已知尺寸的大型棋盘格，保证照明良好，采集大量数据，然后检测棋盘格内部的点，然后通过投影变换关系得到相机模组的标定结果。

作为本申请的进一步改进，在步骤S1内，相机模组对准棋盘格，同时采集相机和激光数据，并检测到图像和激光点云上对应在棋盘格上的点，通过这个匹配关系和得到的相机模组的标定结果，得到激光相对于相机的位置和姿态变换关系。

作为本申请的更进一步改进，在步骤S2内，得到的机模组在采集过程中运动姿态和轨迹进行离线存储。

作为本申请的更进一步改进，在步骤S4内，基于每帧的激光点云数据、RGB图以及得到相机模组的位置和姿态，对每帧构建相邻帧，然后根据相邻帧，对原始深度图进行稠密化，从而生成一张和RGB图同样大小的完整深度图，之后再将对完整深度图进行滤波，剔除错误的深度，从而得到稠密点云。

作为本申请的更进一步改进，在步骤S4内，有共同观测数据的帧互为相邻帧。