[发明专利]三维重建方法、装置、设备及存储介质

说明书

本公开关于一种三维重建方法、装置、设备及存储介质，该方法包括：获取待重建对象的图像序列；确定所述图像序列中的图像的点云数据；基于所述图像序列中的当前帧图像对应的历史帧图像的点云数据，生成所述历史帧图像对应的初始面元图；所述当前帧图像为所述图像序列中除首帧图像之外的任一帧图像；基于初始面元图和当前帧图像的点云数据，生成当前帧图像对应的融合面元图；根据首帧图像对应的面元图和融合面元图，生成待重建场景的三维重建结果。采用本公开的技术方案，能够降低融合结果的噪声，提高三维重建的精度。

技术领域

本公开涉及计算机技术领域，尤其涉及一种三维重建方法、装置、设备及存储介质。

背景技术

目前，场景及物体的三维重建在人机交互、虚拟现实、游戏电影等诸多领域都有着广 泛的应用。相关技术中，在移动终端上做三维重建时，可以获取图像的深度信息，根据深度信息和位姿信息确定点云图，并对点云图进行融合，从而对图像中的对象进行三维重建。

然而相关技术中的点云融合的灵活性较差，且点云融合过程容易出现漂移严重的情 况，导致融合结果噪声较大，从而降低三维重建的精度。

发明内容

本公开提供一种三维重建方法、装置、设备及存储介质，以至少解决相关技术中的点 云融合的灵活性较差，且点云融合过程容易出现漂移严重的情况，导致融合结果噪声较大， 从而降低三维重建的精度的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种三维重建方法，包括：

获取待重建场景的图像序列；

确定所述图像序列中的图像的点云数据；

基于所述图像序列中的当前帧图像对应的历史帧图像的点云数据，生成所述历史帧图 像对应的初始面元图；所述当前帧图像为所述图像序列中除首帧图像之外的任一帧图像， 所述历史帧图像为所述图像序列中，采集时间点位于所述当前帧图像之前的图像；

基于所述初始面元图和所述当前帧图像的点云数据，生成所述当前帧图像对应的融合 面元图；

根据所述首帧图像对应的面元图和所述融合面元图，生成所述待重建场景的三维重建 结果；所述首帧图像对应的面元图为基于首帧图像的点云数据生成。

在一示例性的实施方式中，所述基于所述初始面元图和所述当前帧图像的点云数据， 生成所述当前帧图像对应的融合面元图，包括：

将所述初始面元图投影至所述当前帧图像中，得到所述初始面元图在所述当前帧图像 中的投影像素点；

基于所述投影像素点和所述当前帧图像的点云数据，生成所述融合面元图。

在一示例性的实施方式中，所述基于所述投影像素点和所述当前帧图像的点云数据， 生成所述融合面元图，包括：

基于所述当前帧图像的点云数据，对所述投影像素点的坐标和所述当前帧图像中的像 素点的坐标进行三维转换，得到所述当前帧图像中的像素点对应的第一新面元图以及所述 投影像素点对应的第二新面元图；

将所述初始面元图和所述第二新面元图进行融合，得到所述当前帧图像对应的第三新 面元图；

合并所述第一新面元图和所述第三新面元图，得到所述当前帧对应的融合面元图。

在一示例性的实施方式中，所述将所述初始面元图和所述第二新面元图进行融合，得 到所述当前帧图像对应的第三新面元图，包括：

根据所述历史帧图像中的像素点的深度信息和所述当前帧图像中的像素点的深度信 息，确定所述初始面元图与所述第二新面元图之间的位置关系；

根据所述位置关系，对所述初始面元图和所述第二新面元图进行融合，得到所述第三 新面元图。