[发明专利]基于神经辐射场的动态人体自由视点视频生成方法和装置

权利要求书

1.一种基于神经辐射场的动态人体自由视点视频生成方法，其特征在于，包括以下步骤：

采集动态单人体的图像序列；

通过预设的卷积神经网络，对所述图像序列中的每一帧图像提取人体关节点的位置信息；

根据所述位置信息对所述图像序列拟合生成对应的三维人体模板动态序列，其中，所述根据所述位置信息对所述图像序列拟合生成对应的三维人体模板动态序列，包括：根据预设的能量函数对所述图像序列拟合生成对应的三维人体模板动态序列，所述预设的能量函数为：

其中，π(·)为相机投影函数，用于将空间中的三维点根据相机内外参投影至图像二维平面，K⁽ⁱ⁾为第i帧的三维人体模板的关节点坐标，即K⁽ⁱ⁾＝R_KV⁽ⁱ⁾＝R_KM(θ⁽ⁱ⁾)，为堆叠而成的矩阵，θ⁽ⁱ⁾为第i帧的图像的姿态参数，为回归矩阵，其中，为三维人体模板的顶点坐标，S为三维人体模板的顶点总数，J表示第J个关节点；

构建初始神经辐射场网络，并根据预设的损失函数、所述三维人体模板动态序列和所述图像序列训练所述初始神经辐射场网络获取目标神经辐射场网络；

通过所述目标神经辐射场网络和所述图像序列，渲染指定视点下的图像。

2.如权利要求1所述的方法，其特征在于，所述通过预设的卷积神经网络，对所述图像序列中的每一帧图像提取人体关节点的位置信息，包括：

获取所述预设的卷积神经网络对应的线性函数；

提取所述每一帧图像中的人体姿态参数，将所述人体姿态参数输入所述线性函数，获取三维人体模板的顶点坐标；

根据所述三维人体模板的顶点坐标和回归矩阵回归出所述人体关节点的位置信息。

3.如权利要求2所述的方法，其特征在于，所述人体姿态参数包括：

骨架关节的旋转量θ。

4.如权利要求1所述的方法，其特征在于，所述目标神经辐射场网络为：

一个以五维向量为输入的函数f(·)，其中，所述五维向量中的三维对应一个空间中三维点的坐标(x,y,z)，所述五维向量中的另外二维为观察方向(φ,ψ)，所述函数f(·)的输出为RGB颜色值c＝(R,G,B)和体密度σ，即f:表示三维空间中各个点的颜色值和密度分布。

5.如权利要求4所述的方法，其特征在于，所述预设的损失函数，包括：

其中，c⁽ⁱ⁾(r)为第i帧的图像的射线r利用f(·)进行体渲染，所得到的颜色值，是第i帧的图像的真实颜色值。

6.如权利要求5所述的方法，其特征在于，所述通过所述目标神经辐射场网络和所述图像序列，渲染指定视点下的图像，包括：

遍历第i帧的神经辐射场对应的图像中所有的像素，确定与所述指定视点对应的相机射线；

在所述相机射线上进行采样后计算采样点的加权求和，以实现渲染指定视点下的图像。