[发明专利]三维模型重建与图像生成方法、设备以及存储介质

权利要求书

1.一种三维模型重建方法，其特征在于，包括：

根据包含目标物体的多张原始图像进行基于神经网络的三维重建，得到初始隐式3D表征模型，所述目标物体上的表面点与对应原始图像中的像素点对应，且与拍摄到所述像素点的第一视线对应；

根据所述初始隐式3D表征模型和所述多张原始图像，构建显式三维模型，所述显式三维模型包括所述目标物体上表面点的颜色信息，每个表面点的颜色信息是根据该表面点对应的第一视线的平均视角信息确定的；

随机生成所述显式三维模型上表面点对应的第二视线，并根据每个表面点的颜色信息分别生成每个表面点对应的第二视线对应的平均视角信息；

根据所述第二视线对应的平均视角信息和所述第二视线上空间点的空间坐标，基于所述初始隐式3D表征模型进行基于神经网络的三维重建，得到目标隐式3D表征模型。

2.根据权利要求1所述的方法，其特征在于，根据所述初始隐式3D表征模型和所述多张原始图像，构建显式三维模型，包括：

根据所述多张原始图像的图像特征，确定所述目标物体对应的空间范围；

基于所述空间范围和所述初始隐式3D表征模型生成所述目标物体对应的初始三维模型，所述初始三维模型包括所述目标物体上的表面点；

将所述初始三维模型上每个表面点对应的第一视线的视角信息的平均值，分别转换为每个表面点的颜色信息，以得到所述显式三维模型。

3.根据权利要求2所述的方法，其特征在于，基于所述空间范围和所述初始隐式3D表征模型生成所述目标物体对应的初始三维模型，包括：

基于所述空间范围和所述初始隐式3D表征模型生成所述目标物体对应的标量场数据，所述标量场数据包括多个体积元素；

对所述多个体积元素进行三角面解析，得到初始三维模型包含的多个三角面、所述多个三角面上的多个顶点及其空间坐标，所述多个三角面和多个顶点用于限定所述初始三维模型包含的各表面点。

4.根据权利要求3所述的方法，其特征在于，所述空间范围为具有长宽高的长方体空间，基于所述空间范围和所述初始隐式3D表征模型生成所述目标物体对应的标量场数据，包括：

对所述长方体空间在长宽高三个维度上进行等间隔采样得到多个目标空间点，其中，相邻8个目标空间点形成一个体积元素；

将所述多个目标空间点的空间坐标输入所述初始隐式3D表征模型，得到所述多个目标空间点的体积密度；所述体积元素和所述体积元素包含的目标空间点的体积密度形成所述标量场数据。

5.根据权利要求2所述的方法，其特征在于，还包括：生成每张原始图像对应的视角预存图，所述视角预存图中存储有该张原始图像中各像素点对应的第一视线的视角信息；

相应地，将所述初始三维模型上每个表面点对应的第一视线的视角信息的平均值，分别转换为每个表面点的颜色信息，以得到所述显式三维模型，包括：

针对任一表面点，根据所述多张原始图像对应的相机位姿，结合所述初始三维模型，从所述多张原始图像中确定包含所述表面点对应的目标像素点的至少一张目标原始图像；

将所述至少一张目标原始图像对应的视角预存图中存储的所述目标像素点对应的第一视线的视角信息的平均值转换为所述表面点的颜色信息。

6.根据权利要求1-5任一项所述的方法，其特征在于，还包括：生成每张原始图像对应的深度预存图，所述深度预存图中存储有该张原始图像中各像素点对应表面点的深度信息；

相应地，随机生成所述显式三维模型上表面点对应的第二视线，包括：

针对任一表面点，根据所述多张原始图像对应的相机位姿，结合所述显式三维模型，从所述多张原始图像中确定包含所述表面点对应的目标像素点的至少一张目标原始图像；

针对每张目标原始图像，根据所述目标原始图像对应的深度预存图中存储的所述目标像素点对应表面点的深度信息，计算所述表面点的空间坐标，根据所述表面点的空间坐标和所述目标像素点对应的第一视线的视角信息，随机生成一条经过所述表面点且不同于所述目标像素点对应的第一视线的视线作为第二视线。