[发明专利]体素模型与图像生成方法、设备及存储介质

说明书

本申请实施例提供一种体素模型与图像生成方法、设备及存储介质，在本申请实施例中，提出一种通过体素模型对物体进行隐式3D表达的方案，相比于采用MLP的神经网络，本申请实施例的体素模型是一种离散神经辐射场，其包括多个体素，每个体素具有能够对落入该体素内的空间点进行隐式3D表达的体素信息，基于该体素模型，通过对体素模型进行体素信息的查询即可实现对物体的隐式3D表达，无需经过多层神经网络的前向计算，有利于提高基于对物体的隐式3D表达进行三维重建时的重建效率，进而可提高新视角图像的合成效率，对物体的隐式3D表达可应用于任何新视角图像合成场景中，不再受应用场景对合成效率要求的限制。

技术领域

本申请涉及互联网技术领域，尤其涉及一种体素模型与图像生成方法、设备及存储介质。

背景技术

新视角合成技术是指针对一个三维场景，使用该三维场景的已有图像生成任意视角下的高真实感图像的技术。新视角合成依赖三维场景精确的几何结构，但是，由于现实世界中的三维场景比较复杂，很难获得三维场景精确的几何结构，这导致新视角合成技术从理论到落地实施较为困难。

于是，业界提出了神经辐射场（Neural Radiance Field，NERF）算法，该算法利用全连接网络来表示三维场景，其输入是一个连续的5维坐标：空间位置（x，y，z）和视角信息（θ，φ），其输出是该空间位置处的体积密度和视角相关的颜色信息；进一步结合立体渲染（volume rendering）技术，可以将输出的颜色信息和体积密度投影到2D图像上，从而实现新视图合成。由于简单结构和良好的渲染效果，NERF算法吸引了大量关注。

但是，现有NERF算法采用基于多层感知机（MLP）的神经网络对物体进行隐式3D表达，这种方式在三维重建时效率较低，进而影响新视角图像的合成效率，无法应用于对合成效率要求较高的场景，例如一些实时交互场景，限制了隐式3D表达的应用。

发明内容

本申请的多个方面提供一种体素模型与图像生成方法、设备及存储介质，用以提高基于对物体的隐式3D表达进行三维重建时的重建效率，进而可提高新视角图像的合成效率，拓展隐式3D表达的应用。

本申请实施例提供一种图像生成方法，包括：根据目标物体对应的待渲染的目标图像的属性信息和相机位姿，生成待渲染的目标视线；根据所述目标视线上多个空间点的空间坐标，从预先生成的所述目标物体对应的目标体素模型中，查询得到所述目标视线上落入所述目标体素模型中的目标空间点及其落入的目标体素，所述目标体素模型包括多个体素，每个体素具有目标体素信息；根据所述目标体素的目标体素信息，生成所述目标空间点的颜色信息和体积密度，并根据所述目标空间点的颜色信息和体积密度进行体渲染，以得到与所述相机位姿适配的目标图像。

本申请实施例还提供一种体素模型生成方法，包括：根据包含目标物体的多张样本图像进行基于神经网络的三维重建，得到初始隐式3D表征模型，所述目标物体上的表面点与对应样本图像中的像素点对应，且与拍摄到所述像素点的第一视线对应；根据所述多张样本图像和所述初始隐式3D模型，构建所述目标物体对应的初始体素模型，所述体素模型包括多个体素及其初始体素信息；利用所述多张样本图像中像素点对应的第一视线上的空间点，针对所述初始体素模型中多个体素的体素信息进行模型训练，以得到目标体素模型，所述目标体素模型中各体素具有目标体素信息，用于对落入该体素内的空间点进行隐式3D表达，以实现对目标物体进行隐式三维3D表达。

本申请实施例还提供一种图像生成装置，包括：生成模块，用于根据目标物体对应的待渲染的目标图像的属性信息和相机位姿，生成待渲染的目标视线；查询模块，用于根据所述目标视线上多个空间点的空间坐标，从预先生成的所述目标物体对应的目标体素模型中，查询得到所述目标视线上落入所述目标体素模型中的目标空间点及其落入的目标体素，所述目标体素模型包括多个体素，每个体素具有目标体素信息；渲染模块，用于根据所述目标体素的目标体素信息，生成所述目标空间点的颜色信息和体积密度，并根据所述目标空间点的颜色信息和体积密度对所述待渲染图像进行体渲染，以得到与所述相机位姿适配的目标图像。