[发明专利]视频合成方法、视频合成装置、电子设备及存储介质

权利要求书

1.一种视频合成方法，其特征在于，所述方法包括：

获取目标人物图像、目标音频数据、参考人物视频数据；

对所述目标人物图像进行语义分割，得到目标人物前景图像，并对所述目标人物前景图像进行特征提取，得到目标人脸特征；

对所述目标音频数据进行特征提取，得到目标音频内容特征；

对所述参考人物视频数据进行特征提取，得到参考人物姿势特征和参考人物唇形特征；

基于所述目标人脸特征、所述目标音频内容特征、所述参考人物姿势特征和所述参考人物唇形特征，得到目标组合特征向量，所述目标组合特征向量包括目标人物的人物风格特点；

基于预设的视频合成模型对所述目标组合特征向量进行视频合成，得到初始合成视频；

基于预设的背景图像对所述初始合成视频进行背景替换，得到目标合成视频。

2.根据权利要求1所述的视频合成方法，其特征在于，所述对所述参考人物视频数据进行特征提取，得到参考人物姿势特征和参考人物唇形特征，包括：

对所述参考人物视频数据进行语义分割，得到参考人物图像；

基于预设的姿势编码器对所述参考人物图像进行编码处理，得到所述参考人物姿势特征；

对所述参考人物图像进行局部区域分割，得到参考人物唇部图像；

基于预设的唇形编码器对所述参考人物唇部图像进行编码处理，得到所述参考人物唇形特征。

3.根据权利要求1所述的视频合成方法，其特征在于，所述基于所述目标人脸特征、所述目标音频内容特征、所述参考人物姿势特征和所述参考人物唇形特征，得到目标组合特征向量，包括：

基于所述目标音频内容特征对所述参考人物唇形特征进行特征调整，得到目标人物唇形特征；

对所述目标人脸特征、所述参考人物姿势特征、所述目标人物唇形特征进行特征拼接，得到所述目标组合特征向量。

4.根据权利要求1所述的视频合成方法，其特征在于，所述视频合成模型包括MLP网络、视频生成网络，所述基于预设的视频合成模型对所述目标组合特征向量进行视频合成，得到初始合成视频，包括：

基于所述MLP网络对所述目标组合特征向量进行风格参数计算，得到视频风格参数；

基于所述视频生成网络和所述视频风格参数对所述目标组合特征向量进行视频合成，得到所述初始合成视频。

5.根据权利要求1所述的视频合成方法，其特征在于，所述基于预设的背景图像对所述初始合成视频进行背景替换，得到目标合成视频，包括：

对所述初始合成视频进行分帧处理，得到初始视频帧；

对每一初始视频帧进行前景掩码，得到所述初始视频帧对应的前景分割图；

对所述前景分割图、所述背景图像以及所述初始视频帧进行图像融合，得到目标视频帧；

对所述目标视频帧进行拼接处理，得到所述目标合成视频。

6.根据权利要求1至5任一项所述的视频合成方法，其特征在于，所述基于预设的视频合成模型对所述目标组合特征向量进行视频合成，得到初始合成视频之前，所述方法还包括预先训练所述视频合成模型，具体包括：

获取样本人物图像、样本人物视频数据、所述参考人物视频数据；

从所述样本人物图像中提取样本前景图像，从所述样本人物视频数据中提取样本音频数据，并从所述参考人物视频数据中提取所述参考人物图像；

将所述样本前景图像、所述样本音频数据、所述参考人物图像输入至所述视频合成模型中；

基于所述样本前景图像，得到样本人物身份特征，基于所述参考人物图像，得到参考人物姿势特征和参考唇形特征，并基于所述样本音频数据，得到样本音频内容特征；

基于所述样本音频内容特征和所述参考唇形特征，计算样本内容损失值；

对所述参考唇形特征、所述样本人物身份特征、所述参考人物姿势特征进行拼接，得到样本组合特征向量；

基于所述视频合成模型对所述样本组合特征向量进行视频合成，得到样本合成视频；

基于所述样本合成视频和所述样本人物视频数据进行损失计算，得到样本视频损失值；

基于所述样本视频损失值和所述样本内容损失值对所述视频合成模型的模型参数进行更新，以优化所述视频合成模型。