[发明专利]三维模型重建与图像生成方法、设备以及存储介质

说明书

本申请实施例提供一种三维模型重建与图像生成方法、设备以及存储介质。在本申请实施例中，以包含目标物体的多张原始图像为基础分别进行基于神经网络的三维重建和传统的三维重建，得到初始隐式3D表征模型和显式三维模型；基于显式三维模型进行随机视线和平均视角的生成，通过产生随机视线并以随机视线对应的平均视角信息代替其真实视角信息的方式，利用随机视线及其对应的平均视角信息增强视线数据，基于增强后的视线数据继续进行基于神经网络的三维重建，可以得到对视线具有较强鲁棒性的隐式3D表征模型，大大提升基于该隐式3D表征模型合成不同视角图像时的鲁棒性。

技术领域

本申请涉及图像处理技术领域，尤其涉及一种三维模型重建与图像生成方法、设备以及存储介质。

背景技术

新视角合成技术是指针对一个三维场景，使用该三维场景的已有图像生成任意视角下的高真实感图像的技术。新视角合成依赖三维场景精确的几何结构，但是，由于现实世界中的三维场景比较复杂，很难获得三维场景精确的几何结构，这导致新视角合成技术从理论到落地实施较为困难。

于是，业界提出了神经辐射场（Neural Radiance Field，NERF）算法，该算法利用全连接网络来表示三维场景，其输入是一个连续的5维坐标：空间位置（x，y，z）和视角信息（θ，ϕ），其输出是该空间位置处的体积密度和视角相关的颜色信息；进一步结合立体渲染（volume rendering）技术，可以将输出的颜色信息和体积密度投影到2D图像上，从而实现新视图合成。由于简单结构和良好的渲染效果，NERF算法吸引了大量关注，但是，它的视角鲁棒性较差，部分视角的图像合成效果不好，难以应用于实际场景中。

发明内容

本申请的多个方面提供一种三维模型重建与图像生成方法、设备以及存储介质，用以提升基于隐式三维表征模型进行模型推理如视角图像合成时的视角鲁棒性。

本申请实施例提供一种三维模型重建方法，包括：根据包含目标物体的多张原始图像进行基于神经网络的三维重建，得到初始隐式3D表征模型，所述目标物体上的表面点与对应原始图像中的像素点对应，且与拍摄到所述像素点的第一视线对应；根据所述初始隐式3D表征模型和所述多张原始图像，构建显式三维模型，所述显式三维模型包括所述目标物体上表面点的颜色信息，每个表面点的颜色信息是根据该表面点对应的第一视线的平均视角信息确定的；随机生成所述显式三维模型上表面点对应的第二视线，并根据每个表面点的颜色信息分别生成每个表面点对应的第二视线对应的平均视角信息；根据所述第二视线对应的平均视角信息和所述第二视线上空间点的空间坐标，基于所述初始隐式3D表征模型进行基于神经网络的三维重建，得到目标隐式3D表征模型。

本申请实施例还提供一种图像生成方法，包括：根据待渲染的目标相机位姿和目标物体对应的显式三维模型，确定待渲染的目标视线和所述目标视线对应的平均视角信息；根据所述目标视线上空间点的空间坐标和所述目标视线对应的平均视角信息，结合所述目标物体对应的目标隐式3D表征模型，生成所述目标物体在所述目标相机位姿下的目标图像；其中，所述显式三维模型和目标隐式3D表征模型是融入视线先验信息和平均视角信息进行基于神经网络的三维重建得到的。

本申请实施例还提供一种计算机设备，包括：存储器和处理器；存储器，用于存储计算机程序；处理器耦合至存储器，用于执行计算机程序以用于执行本申请实施例提供的三维模型重建方法或图像生成方法中的步骤。

本申请实施例还提供一种存储有计算机程序的计算机存储介质，当计算机程序被处理器执行时，致使处理器能够实现本申请实施例提供的三维模型重建方法或图像生成方法中的步骤。