[发明专利]一种双阶段三维场景建模方法

说明书

一种双阶段三维场景建模方法，属于计算机视觉范畴。包括：使用RGBD相机和单目相机同时采集RGB数据和深度数据，使用基于视觉同步定位与建图的三维重建算法和基于运动恢复结构的三维重建算法分别以不同的速度进行建模。第一阶段实时记录SLAM重建进度，进行图像帧配准、姿态估计和点云匹配，回环检测和模型融合，短时内生成较稀疏的重建模型，且可以帮助实时定位和导航，增强数据时序性；第二阶段通过大量高清RGB图像进行基于运动恢复结构的三维重建算法，生成稠密完整且细节丰富的重建模型。既保证了对短时内重建结果辅助定位的要求，具有时效性，又能提供高重建精度的稠密重建结果。

技术领域

本发明属于三维成像领域，具体来说，是一种基于RGBD相机的室内动态场景的三维重建方法。

背景技术

同步定位与建图(SimultaneousLocalization andMapping，SLAM)技术的出现很好的解决了在智能机器人识图、建图和定位等领域的问题，利用搭载在机器人上的传感器(例如双目、单目相机)来获得外界信息，利用这些信息构建出地图，且对自身的位置和姿态进行估计。

RGBD相机则可以帮助做好更好的重建，因为带有可以获取深度信息的传感器，可以实时或保存良好的深度信息，再通过一些计算，更好地进行三维重建。

运动恢复结构(Structurefrom Motion,SFM)是一种从时间序列的2D图像中推算出3D信息的三维重建方法，好处是可以用尽可能多的图片，来进行特征匹配和对齐，而构建出更多细节的模型。

传统的SLAM方法优点是速度快，可以快速地算出结点并输出一个模型，但缺点也是不够精细，通常局限于深度相机的分辨率，导致与之对应的光学图像分辨率也不能太高；而SFM方法的优点是分辨率足够高，精度很高，但缺点是计算量大，需要非常多的匹配，且模型不好收敛，因此速度会很慢。

发明内容

本发明的目的是针对现有的三维重建方法在场景下出现的精度和时间不能同时保证的问题下提出了一种双阶段三维场景重建方法，是利用RGBD相机和光学相机对室内环境进行三维重建。

一种双阶段三维场景建模方法，三维重建方法所用的装置包括带有GPU的PC，RGBD相机及光学相机，具体步骤如下：

1)固定装置：将RGBD相机和光学相机固定在机器人上，能够平稳并流畅地采集数据；

2)标定RGBD相机和光学相机：得到RGBD相机的RGB内参和深度内参，两个相机的转移矩阵，光学相机的内参值；

3)采集场景图像：利用搭载机器人操作系统，载有Ubuntu系统的主机连接RGBD相机，采集每一帧RGB图像和深度图像，并通过时间戳将两者对齐，同时基于SLAM部分的即时定位和导航技术，采集具有时序性和连续性的光学图像，每一帧都是高清RGB图；

4)相机位姿估计：运行程序接收相机传来的场景图像，之后使用几何帧到模型的追踪来预测一个深度图，利用光学帧到模型的追踪，来预测色彩的模型面片，将几何位姿估计和光学位姿估计的方式联合起来，并最终通过优化损失函数的方式减少位姿估计带来的误差，以此来增加位姿的准确性，便于之后的重建，并且，使用位姿估计来使生成的点云在合适的位置，使用光学帧和几何帧结合的方式生成模型面片，利于之后的模型建立；

5)点云模型建立：使用一种嵌入式形变技术来做变形图，最终得到整个模型；