[发明专利]一种自适应视角的级联网络三维重建方法及系统

说明书

本发明提出一种自适应视角的级联网络三维重建方法及系统，所述重建方法主要包括系统初始化，摄像组合体自动采集一到多组不同视角图像进行初始重建，由初始重建的点云和已视角拓展集合，估计加入后对重建完整性提升最有帮助的视角，控制摄像组合体进行拍摄，加入已有图像集合，与邻近图像集结合进行深度估计，估计结果转化为点云后加入现有候选点云集，重复此步骤直至满足要求，最后基于点云的点间距离和统计特性进行滤波和抑制。所述方法主要用于对静物的三维点云进行稠密重建，旨在平衡重建完整性和计算、存储成本之间的矛盾，同时避免在重建过程中对高价值、难以移动的物体造成损害。

技术领域

本发明涉及计算机视觉技术领域，特别是一种自适应视角的级联网络三维重建方法及系统。

背景技术

三维重建(3Dreconstruction)是指利用二维投影恢复物体或场景三维信息的技术，是在计算机虚拟世界中重现客观物理世界的关键技术。

按传感器是否主动向被测物体发出信号，三维重建方法可分为主动式和被动式，主动式方法使用编码结构光、飞行时间(ToF)等原理进行重建，虽整体性能上略优，但目前设备价格仍较为昂贵，使用场景也有较大限制；被动式三维重建对硬件要求较低，使用普通相机采集到的RGB图像即可进行重建，主要基于较为成熟的视觉几何知识，但由于环境干扰等因素一直在技术上具有较大挑战性。被动式三维重建技术根据使用的视角(图片)数量又可分为单目重建、双目重建和多视角重建。单目重建对先验知识的要求较高，重建的不确定性较大、精度较差，这是由于由二维投影恢复三维信息这一任务本身为欠定问题，在单目情况下有无穷多解，理论基础上即存在缺陷；双目重建和多视角重建(Multi-ViewStereo)引入了大量的冗余信息，通过特征匹配和三角测量在理论上可以精确获得二维点对对应的三维点坐标，因此，可以获得较完整且精确的重建结果。此外，虽在一些文章中被归为单目重建方法，SFM(structure-from-motion)利用单目相机的移动获取多视角下的物体或场景图像，实现了对相机位姿和目标三维信息的同时恢复，另一些方法直接使用带有深度信息的RGB-D图像作为输入，但进行物体和场景的完整重建仍需采集和处理多视角图像。

深度学习方法随着近年算力的大幅提升和一批优秀网络结构的提出，为计算机视觉领域的各类问题提供了一个新的处理思路，特别是2012年以来，AlexNet的问世使得各种卷积神经网络架构广泛应用于分类、检测和分割等任务中，不断取得突破性的进展。深层卷积神经网络在各类计算机视觉任务上的成功，某种程度上证明了深度学习方法在三维重建中应用的可行性，同时研究人员也期望可以借助深度学习方法提升重建精度和完整性，因此基于深度学习的三维重建近年来逐渐成为研究热点之一。

当前三维重建技术虽方法众多，且在深度学习算法的辅助下准确率和完整性大大提升，但目前仍有一些常见问题：其一，对光照敏感，当不同角度的光照变化较大时，难以获得可靠且密集的对应点匹配；其二，重建耗时长、存储成本高，多视角的重建方法虽然因可获得更丰富的信息，重建结果较好，但同时大量的信息对算法的时间和空间效率提出了更高的要求。

发明内容

为了解决光照会对三维重建产生较大影响，多视角重建耗时长、存储成本高的技术问题，本发明提出一种自适应视角的级联网络三维重建方法及系统。

为此，本发明提出的自适应视角的级联网络三维重建方法具体包括如下步骤：

S1，系统初始化，通过摄像组合体采集一组或多组图像对，通过解算获得初始视角，将所得图像输入深度级联三维重建网络，给出多组深度图，以所述深度图为依据将主视图投影到三维空间中，获取初始点云候选；

S2，基于由所述步骤S1已提取的所述初始视角和所述初始点云候选进行视角拓展，估计得出不完整、不确定重建区域，对每个未拓展视角，控制摄像组合体拍摄一组图像对，对不完整、不确定区域，控制摄像组合体获取三组该区域的图像，进行深度图重建和深度图融合，拓展及优化点云，所述步骤S2重复多次以满足完整性和精确性要求；