[发明专利]人体高质量渲染方法、装置、电子设备及存储介质

说明书

本申请涉及计算机图形学中的三维重建和神经渲染领域，特别涉及一种人体高质量渲染方法、装置、电子设备及存储介质，其中，方法包括：采集目标人体多个视角的二维图像，并提取二维图像的特征，得到多视角图像特征；将相机的视角信息映射到目标维度，得到视角特征，并融合多视角图像特征和视角特征，得到用于渲染的融合特征；以及解码用于渲染的融合特征，得到神经辐射场和隐式表面场，并基于神经辐射场和隐式表面场进行采样渲染，得到目标人体的高质量图像。由此，解决了相关技术中算法要求较高，重建模型大多比较粗糙，表面细节欠缺的问题，将神经辐射场和隐式表面场结合，可以同时实现高精度的几何重建以及高质量的纹理渲染。

技术领域

本申请涉及计算机图形学中的三维重建和神经渲染领域，特别涉及一种人体高质量渲染方法、装置、电子设备及存储介质。

背景技术

近年来，随着芯片计算性能的提高以及深度学习领域的突破，三维重建与神经渲染成为了计算机图形学中的一个新的热点。三维重建与神经渲染在未来的AR/VR(Augmented Reality/Virtual Reality，增强现实/虚拟现实)、远程会议、实时直播、元宇宙等领域具有重大潜力，其中数字人的三维重建和神经渲染是一个研究热点，精确的三维模型重建以及高质量的神经渲染将使得数字人活灵活现，产生广泛的应用。

相关技术中的人体模型渲染主要借助传统的网格模型以及光照模型进行渲染，传统的渲染算法需要较为精确的几何模型并估计准确的光照条件才能实现高质量的渲染效果。另一方面，传统重建的模型大多比较粗糙，表面细节欠缺。

发明内容

本申请提供一种人体高质量渲染方法、装置、电子设备及存储介质，以解决相关技术中算法要求较高，重建模型大多比较粗糙，表面细节欠缺的问题，将神经辐射场和隐式表面场结合，可以同时实现高精度的几何重建以及高质量的纹理渲染。

本申请第一方面实施例提供一种人体高质量渲染方法，包括以下步骤：采集目标人体多个视角的二维图像，并提取所述二维图像的特征，得到多视角图像特征；将相机的视角信息映射到目标维度，得到视角特征，并融合所述多视角图像特征和所述视角特征，得到用于渲染的融合特征；以及解码所述用于渲染的融合特征，得到神经辐射场和隐式表面场，并基于所述神经辐射场和所述隐式表面场进行采样渲染，得到所述目标人体的高质量图像。

可选地，在一些实施例中，所述基于所述神经辐射场和所述隐式表面场进行采样渲染，得到所述目标人体的高质量图像，包括：基于预设的均匀采样策略，在所述述隐式表面场均匀采样，得到多个采样点；将所述多个采样点中第一个大于第一预设阈值的采样点作为目标采样点，并基于预设的密集采样策略，在以所述目标采样点为中心，第二预设阈值为半径的目标区域内的神经辐射场上进行密集采样，得到多个密集采样点；渲染所述多个密集采样点得到所述目标人体的高质量图像。

可选地，在一些实施例中，所述将相机的视角信息映射到目标维度，包括：基于频域编码公式，将所述相机的视角信息映射到所述目标维度，其中，所述频域编码公式为：

γ(d)＝(sin(2°πd)，cos(2°πd)，...，sin(2^L-1πd)，cos(2^L-1πd))；

可选地，在一些实施例中，所述融合所述多视角图像特征和所述视角特征，得到用于渲染的融合特征，包括：基于预设的视角转换器，融合所述多视角图像特征和所述视角特征，得到用于渲染的融合特征，其中，所述预设的视角转换器为：

F′＝Attention(F_Q，F，F)；

其中，F′为融合后的特征，F_Q为新视角特征，F为多视角特征为。

可选地，在一些实施例中，所述提取所述二维图像的特征，得到多视角图像特征，包括：基于预设的卷积神经网络，提取所述二维图像的特征，得到所述多视角图像特征。