[发明专利]一种基于注意力机制和单目多视角的三维重建方法

说明书

本发明公开了一种基于注意力机制和单目多视角的三维重建方法S1：通过相机拍摄待测场景，采集待测场景的图像数据；S2：将图像数据进行标序，并按序依次进行特征点提取和特征点匹配，得到特征点匹配对；S3：对相机进行标定，得到相机位姿信息、相机内参和待测场景结构信息,并进行稀疏点云重建；S4：将相机位姿信息、相机内参、待测场景结构信息以及图像输入至预设的注意力机制的单目多视角重建网络，得到若干待测场景的深度估计图；S5：将若干深度估计图进行深度融合，得到稠密点云模型。无需提前相机标定，适用于任意场景的重建，重建结果更准确，点云完整度高，流程简单、重建可靠、适应性强。

技术领域

本发明属于图像处理领域，尤其涉及一种基于注意力机制和单目多视角的三维重建方法。

背景技术

近年来，深度学习技术在二维图像处理的各种任务中大放异彩，在各种数据集中的准确度远超传统方法的结果。随着三维视觉与三维结构数据的需求越来越大，研究人员开始将深度学习技术应用于3D视觉技术中。三维重建问题作为经典的计算机视觉问题，因此将其与神经网络进行结合从而获取更高精度的重建结果成为广泛研究的问题。

相比于采用激光雷达等方式，基于图像的三维重建技术所需的设备简单便宜，获取的模型应用更加广泛。采用单目多视角的方法进行三维重建的技术对输入图像要求低，图像序列可以是无序的。基于图像的三维重建技术本质上是对物体或者场景进行连续拍摄，计算相邻帧间的视差，通过视差与投影反射原理估计图像每个像素的深度，最终恢复场景几何纹理信息与相机参数信息。相比于传统方法进行三维重建，基于深度学习的单目多视角三维重建技术拥有更快的计算速度与更准确的重建结果。然而现有的基于深度学习的单目多视角三维重建神经网络还未考虑到大尺度特征的捕捉，在准确度和完整性上还存在着较大的提升空间。

发明内容

本发明的技术目的是提供一种基于注意力机制和单目多视角的三维重建方法，以解决三维重建中准确度和完整性不足的技术问题。

为解决上述问题，本发明的技术方案为：一种基于注意力机制和单目多视角的三维重建方法，包括如下步骤：

S1：通过相机拍摄待测场景，采集待测场景的图像数据；

S2：将图像数据进行标序，并按序依次进行特征点提取和特征点匹配，得到特征点匹配对；

S3：对相机进行标定，得到相机位姿信息、相机内参和待测场景结构信息,并进行稀疏点云重建；

S4：将相机位姿信息、相机内参、待测场景结构信息以及图像数据输入至预设的注意力机制的单目多视角重建网络，得到若干待测场景的深度估计图；

S5：将若干深度估计图进行深度融合，得到稠密点云模型。

较优地，在步骤S3中，还进一步包括

通过光束平差法对相机位姿信息进行非线性优化，根据相机内参、相机位姿信息和待测场景结构信息通过重投影误差作为代价函数进行非线性优化。

较优地，还包括对相机内参去畸变，以消除径向畸变和切向畸变，公式为

x_distorted＝x(1+k₁r²+k₂r⁴+k₃r⁶)+2p₁xy+p₂(r²+2x²)

y_distorted＝y(1+k₁r²+k₂r⁴+k₃r⁶)+p₁(r²+2y²)+2p₂xy。