[发明专利]视频合成方法、装置、计算机设备及存储介质

说明书

本发明公开了一种视频合成方法，该方法包括获取语音数据，根据预设深度语音模型对语音数据进行音频特征提取，得到音频特征；获取参考图像，通过预设三维卷积网络对参考图像进行图像特征提取，得到三维图像特征；通过三维图像特征构建与参考图像对应的神经体编码；获取神经辐射场模型和位置信息，将位置信息、神经体编码和音频特征输入至神经辐射场模型中，输出目标视频。本发明通过预设深度语音模型对语音数据进行音频特征提取，从而提高了音频特征提取的准确性。通过神经辐射场模型对位置信息、神经体编码和音频数据进行神经渲染，实现了对目标视频的合成，从而提高了目标视频的图像质量和清晰度，进而提升了音画同步度。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种视频合成方法、装置、计算机设备及存储介质。

背景技术

随着科学技术的不断发展，基于人工智能的音频驱动人脸视频在虚拟角色生成和动画视频创作等应用中需求十分广泛。如何构建真实逼真且高质量的虚拟人物成为了一个广受关注的问题。

现有技术中，往往是采用多层感知器对神经辐射场模型进行训练和学习。多层感知器使用图像像素作为输入，将像素的特征向量对像素的颜色值进行回归，以获得渲染图像。上述方法虽然能实现人脸视频的生成，但合成视频的图像质量差、音画同步度低且渲染结果清晰度低，无法基于音频驱动实时生成高清的视频。

发明内容

本发明实施例提供一种视频合成方法、装置、计算机设备及存储介质，以解决现有技术中视频合成效果不佳和清晰度低的问题。

一种视频合成方法，包括：

获取语音数据，根据预设深度语音模型对所述语音数据进行音频特征提取，得到音频特征；

获取参考图像，通过预设三维卷积网络对所述参考图像进行图像特征提取，得到三维图像特征；

通过所述三维图像特征构建与所述参考图像对应的神经体编码；

获取神经辐射场模型和位置信息，将所述位置信息、所述神经体编码和所述音频特征输入至所述神经辐射场模型中，输出目标视频；所述位置信息为目标视频的视角位置。

一种视频合成装置，包括：

音频特征模块，用于获取语音数据，根据预设深度语音模型对所述语音数据进行音频特征提取，得到音频特征；

特征提取模块，用于获取参考图像，通过预设三维卷积网络对所述参考图像进行图像特征提取，得到三维图像特征；

神经体构建模块，用于通过所述三维图像特征构建与所述参考图像对应的神经体编码；

视频输出模块，用于获取神经辐射场模型和位置信息，将所述位置信息、所述神经体编码和所述音频特征输入至所述神经辐射场模型中，输出目标视频；所述位置信息为目标视频的视角位置。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述视频合成方法。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述视频合成方法。

本发明提供一种视频合成方法、装置、计算机设备及存储介质，该方法通过预设深度语音模型对语音数据进行音频特征提取，从而实现了从语音数据中提取出音频特征，提高了音频特征提取的准确性，并将音频特征作为驱动神经辐射场模型的条件。通过预设三维卷积网络对参考图像进行图像特征提取，从而实现了对三维图像特征的提取，进而实现了根据三维图像特征构建神经体编码。通过神经辐射场模型对位置信息、神经体编码和音频特征进行逐帧融合，从而实现了对目标视频的合成，进而提高了目标视频的图像质量和清晰度，提升了音画同步度。

附图说明