[发明专利]三维重建方法、装置、电子设备及存储介质

说明书

本公开关于一种三维重建方法、装置、电子设备及存储介质，涉及计算机技术领域。该方法包括：获取待重建对象的图像序列，其中，图像序列为单目的图像采集器对待重建对象进行图像采集得到的连续图像帧；针对图像序列中的待处理图像，提取待处理图像的深度信息；根据参考图像中各个特征点的世界坐标信息、待处理图像中各个特征点的图像坐标信息、以及待处理图像的旋转位姿信息，对待处理图像进行平移位姿信息估计，得到待处理图像的平移位姿信息；根据图像序列中各帧图像的深度信息、旋转位姿信息以及平移位姿信息，生成点云图，并进行三维重建，从而仅结合单目的图像采集器实现对待重建对象的三维重建，降低成本，适应性好，且扩展性好。

技术领域

本公开涉及计算机技术领域，尤其涉及一种三维重建方法、装置、电子设备及存储介质。

背景技术

目前，在移动终端上做三维重建时，需要在移动终端上安装深度传感器，例如深度相机等，来获取图像的深度信息；进而结合图像以及图像的深度信息，确定移动终端的位姿信息；进而结合移动终端的位姿信息、图像以及图像的深度信息，对图像中的对象进行三维重建。

上述方法中，需要在移动终端上安装深度传感器，成本高，适应性差；且深度传感器的量程有限，扩展性差。

发明内容

本公开提供一种三维重建方法、装置、电子设备及存储介质，以至少解决相关技术中需要在移动终端上安装深度传感器，成本高，适应性差，扩展性差的问题。

本公开的技术方案如下：

获取待重建对象的图像序列，其中，所述图像序列，为单目的图像采集器对所述待重建对象进行图像采集得到的连续图像帧；针对所述图像序列中的待处理图像，提取所述待处理图像的深度信息；根据参考图像中各个特征点的世界坐标信息、所述待处理图像中所述各个特征点的图像坐标信息、以及所述待处理图像的旋转位姿信息，对所述待处理图像进行平移位姿信息估计，得到所述待处理图像的平移位姿信息；其中，所述参考图像，为所述图像序列中对应的采集时间点位于所述待处理图像之前的相邻图像；根据所述图像序列中各帧图像的深度信息、旋转位姿信息以及平移位姿信息，生成点云图；根据所述点云图，对所述待重建对象进行三维重建。

作为本公开实施例的第一种可能的情况，在所述根据参考图像中各个特征点的世界坐标信息、所述待处理图像中所述各个特征点的图像坐标信息、以及所述待处理图像的旋转位姿信息，对所述待处理图像进行平移位姿信息估计，得到所述待处理图像的平移位姿信息之前，还包括：获取所述图像采集器采集所述待处理图像时的惯性测量信息，其中，所述惯性测量信息中包括所述旋转位姿信息。

作为本公开实施例的第二种可能的情况，所述根据参考图像中各个特征点的世界坐标信息、所述待处理图像中所述各个特征点的图像坐标信息、以及所述待处理图像的旋转位姿信息，对所述待处理图像进行平移位姿信息估计，得到所述待处理图像的平移位姿信息，包括：获取所述参考图像中所述各个特征点的世界坐标信息；对所述参考图像中的所述各个特征点进行光流跟踪，确定所述待处理图像中所述各个特征点的图像坐标信息；以所述待处理图像的平移位姿信息作为变量，以所述参考图像中所述各个特征点的世界坐标信息、所述待处理图像中所述各个特征点的图像坐标信息、以及所述待处理图像的旋转位姿信息为参数，以六自由度位姿约束为条件，构建方程组，求解得到所述待处理图像的平移位姿信息。

作为本公开实施例的第三种可能的情况，所述根据所述图像序列中各帧图像的深度信息、旋转位姿信息以及平移位姿信息，生成点云图，包括：针对所述图像序列中的每帧待处理图像，根据所述待处理图像的旋转位姿信息、所述待处理图像的平移位姿信息、以及所述图像序列中首帧图像对应的图像采集器位置信息，确定所述待处理图像对应的图像采集器位置信息；根据所述待处理图像对应的图像采集器位置信息、以及所述待处理图像的深度信息，确定所述待处理图像中各个像素点的世界坐标信息；根据所述各帧图像中各个像素点的世界坐标信息，生成所述点云图。