[发明专利]人体高质量渲染方法、装置、电子设备及存储介质

权利要求书

1.一种人体高质量渲染方法，其特征在于，包括以下步骤：

采集目标人体多个视角的二维图像，并提取所述二维图像的特征，得到多视角图像特征；

将相机的视角信息映射到目标维度，得到视角特征，并融合所述多视角图像特征和所述视角特征，得到用于渲染的融合特征；以及

解码所述用于渲染的融合特征，得到神经辐射场和隐式表面场，并基于所述神经辐射场和所述隐式表面场进行采样渲染，得到所述目标人体的高质量图像。

2.根据权利要求1所述的方法，其特征在于，所述基于所述神经辐射场和所述隐式表面场进行采样渲染，得到所述目标人体的高质量图像，包括：

基于预设的均匀采样策略，在所述述隐式表面场均匀采样，得到多个采样点；

将所述多个采样点中第一个大于第一预设阈值的采样点作为目标采样点，并基于预设的密集采样策略，在以所述目标采样点为中心，第二预设阈值为半径的目标区域内的神经辐射场上进行密集采样，得到多个密集采样点；

渲染所述多个密集采样点得到所述目标人体的高质量图像。

3.根据权利要求1所述的方法，其特征在于，所述将相机的视角信息映射到目标维度，包括：

基于频域编码公式，将所述相机的视角信息映射到所述目标维度，其中，所述频域编码公式为：

γ(d)＝(sin(2⁰πd)，cos(2⁰πd)，...，sin(2^L-1πd)，cos(2^L-1πd))。

4.根据权利要求3所述的方法，其特征在于，所述融合所述多视角图像特征和所述视角特征，得到用于渲染的融合特征，包括：

基于预设的视角转换器，融合所述多视角图像特征和所述视角特征，得到用于渲染的融合特征，其中，所述预设的视角转换器为：

F′＝Attention(F_Q，F，F)；

其中，F′为融合后的特征，F_Q为新视角特征，F为多视角特征为。

5.根据权利要求1所述的方法，其特征在于，所述提取所述二维图像的特征，得到多视角图像特征，包括：

基于预设的卷积神经网络，提取所述二维图像的特征，得到所述多视角图像特征。

6.一种人体高质量渲染装置，其特征在于，包括：

采集模块，用于采集目标人体多个视角的二维图像，并提取所述二维图像的特征，得到多视角图像特征；

融合模块，用于将相机的视角信息映射到目标维度，得到视角特征，并融合所述多视角图像特征和所述视角特征，得到用于渲染的融合特征；以及

渲染模块，用于解码所述用于渲染的融合特征，得到神经辐射场和隐式表面场，并基于所述神经辐射场和所述隐式表面场进行采样渲染，得到所述目标人体的高质量图像。

7.根据权利要求6所述的装置，其特征在于，所述渲染模块，还用于：

基于预设的均匀采样策略，在所述述隐式表面场均匀采样，得到多个采样点；

将所述多个采样点中第一个大于第一预设阈值的采样点作为目标采样点，并基于预设的密集采样策略，在以所述目标采样点为中心，第二预设阈值为半径的目标区域内的神经辐射场上进行密集采样，得到多个密集采样点；

渲染所述多个密集采样点得到所述目标人体的高质量图像。

8.根据权利要求6所述的装置，其特征在于，所述融合模块，还用于：

基于频域编码公式，将所述相机的视角信息映射到所述目标维度，其中，所述频域编码公式为：

γ(d)＝(sin(2⁰πd)，cos(2⁰πd)，...，sin(2^L-1πd)，cos(2^L-1πd))。