[发明专利]基于神经辐射场的动态人体自由视点视频生成方法和装置

说明书

本发明提出一种基于神经辐射场的动态人体自由视点视频生成方法和装置，其中，方法包括：采集动态单人体图像序列；利用卷积神经网络，对图像序列的每一帧提取人体关节点在图像上的位置；利用人体关节点位置信息，对整个图像序列拟合对应的人体模板动态序列；构建神经辐射场网络；利用人体模板姿态序列和所有图像训练神经辐射场网络；训练完成后，给定任意观察视点，即可对训练好的神经辐射场做体渲染，得到该新视点下的图像。由此，能够自动地实现从单视点动态人体视频到自由视点动态人体视频的转换，得到逼真的自由视点渲染结果。

技术领域

本发明涉及计算机视觉和计算机图形学技术领域，尤其涉及一种基于神经辐射场的动态人体自由视点视频生成方法和装置。

背景技术

动态人体的自由视点视频生成是计算机图形学和计算机视觉领域的重点问题。高质量的自由视点视频生成在影视娱乐、全息通信等领域有着广泛的应用前景和重要的应用价值。然而，当前高质量的动态人体自由视点视频的获取通常依靠价格昂贵的多相机阵列系统来实现，虽然精度较高，但是也显著存在着一些缺点：第一，造假昂贵，很难普及到普通民众日常生活中；第二，速度慢，往往重建一帧的自由视点视频就需要至少10分钟到数小时的时间。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种基于神经辐射场的动态人体自由视点视频生成方法，以实现针对动态人体的自由视点视频生成。

本发明的第二个目的在于提出一种基于神经辐射场的动态人体自由视点视频生成装置。

本发明的第三个目的在于提出一种计算机设备。

为达上述目的，本发明第一方面实施例提出了一种基于神经辐射场的动态人体自由视点视频生成方法，包括：采集动态单人体的图像序列；通过预设的卷积神经网络，对所述图像序列中的每一帧图像提取人体关节点的位置信息；根据所述位置信息对所述图像序列拟合生成对应的三维人体模板动态序列；构建初始神经辐射场网络，并根据预设的损失函数、所述三维人体模板动态序列和所述图像序列训练所述初始神经辐射场网络获取目标神经辐射场网络；通过所述目标神经辐射场网络和所述图像序列，渲染指定视点下的图像。

为达上述目的，本发明第二方面实施例提出了一种基于神经辐射场的动态人体自由视点视频生成装置，包括：采集模块，用于采集动态单人体的图像序列；提取模块，用于通过预设的卷积神经网络，对所述图像序列中的每一帧图像提取人体关节点的位置信息；生成模块，用于根据所述位置信息对所述图像序列拟合生成对应的三维人体模板动态序列；训练模块，用于构建初始神经辐射场网络，并根据预设的损失函数、所述三维人体模板动态序列和所述图像序列训练所述初始神经辐射场网络获取目标神经辐射场网络；渲染模块，用于通过所述目标神经辐射场网络和所述图像序列，渲染指定视点下的图像。

为达上述目的，本发明第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述第一方面实施例所述的基于神经辐射场的动态人体自由视点视频生成方法。

本发明的实施例，至少具有如下的技术效果：

采集动态单人体图像序列；利用卷积神经网络，对图像序列的每一帧提取人体关节点在图像上的位置；利用人体关节点位置信息，对整个图像序列拟合对应的人体模板动态序列；构建神经辐射场网络；利用人体模板姿态序列和所有图像训练神经辐射场网络；训练完成后，给定任意观察视点，即可对训练好的神经辐射场做体渲染，得到该新视点下的图像。根据本发明实施例的动态人体自由视点视频生成方法，能够自动地实现从单视点动态人体视频到自由视点动态人体视频的转换，得到逼真的自由视点渲染结果。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明