[发明专利]一种面向虚拟三维背景的视频后期制作方法

权利要求书

1.一种面向虚拟三维背景的视频后期制作方法，包括录制前景视频和背景视频的步骤，

其特征在于，还包括如下步骤：

对背景视频进行风格迁移处理，得到所需风格的背景视频，称为风格化背景视频；

对前景视频抠像，得到对应的掩膜视频；

根据掩膜视频，将前景视频和风格化背景视频进行合成，得到初始的合成视频；

对初始的合成视频进行和谐化处理，得到所需的合成视频；

所述对背景视频进行风格迁移处理得到风格化背景视频的方法为：

创建图像风格迁移模型；

利用背景视频和目标风格视频对图像风格迁移模型进行训练；

将背景视频输入到训练完成的图像风格迁移模型中，得到所需风格的背景视频，称为风格化背景视频；

所述创建图像风格迁移模型的方法为：

在现有的图像风格迁移模型的损失函数基础之上增加如公式(1)所示的风格损失函数和如公式(2)所示的内容损失函数，风格损失函数用于保证生成图像和目标风格图像的风格一致，内容损失函数用于保证生成图像和原图像之间内容一致；

其中，L_style是风格损失；L_content是内容损失；S是风格分类器，其能够将三维背景模型中的景物准确分类并对应给出0～1之间的可信度分数；C是内容分类器，其能够准确识别某张图像的风格并对应给出0～1之间的可信度分数；T是图像风格迁移模型；x～P_data(X)代表的是视频帧x来自背景视频X；y～P_data(Y)表示视频帧y来自目标风格视频Y；|| ||₁是L1范数；E是期望。

2.根据权利要求1所述的面向虚拟三维背景的视频后期制作方法，其特征在于，所述录制前景视频和背景视频的步骤具体包括如下步骤：

根据实际需要获取所需的目标风格视频；

参照目标风格视频，利用Unity3D构建所需的初始三维背景模型；

预设摄像机的移动轨迹和三维背景模型中的虚拟相机的移动轨迹，且虚拟相机的移动轨迹需与摄像机的移动轨迹保持一致，然后按照摄像机的移动轨迹录制前景视频以及按照虚拟相机的移动轨迹录制背景视频。

3.根据权利要求1所述的面向虚拟三维背景的视频后期制作方法，其特征在于，使用Pytorch实现基于VGG19的内容分类器和风格分类器来计算内容损失和风格损失。

4.根据权利要求1所述的面向虚拟三维背景的视频后期制作方法，其特征在于，对初始的合成视频进行和谐化处理的方法为：

创建图像和谐化模型；

训练图像和谐化模型；

将初始的合成视频和掩膜视频输入到训练后的图像和谐化模型，对合成视频进行和谐化处理，得到所需的合成视频，称为和谐化视频。

5.根据权利要求4所述的面向虚拟三维背景的视频后期制作方法，其特征在于，所述创建图像和谐化模型的方法为：

对现有图像和谐化模型增加人类语义限制，即设置人体肤色像素阈值，用于规范视频中的人体肤色。

6.根据权利要求5所述的面向虚拟三维背景的视频后期制作方法，其特征在于，获取人类语义限制的具体方法为：对现有的图像和谐化数据集中带有人类的数据进行分类，统计不同情况下人体肤色的像素范围，根据统计结果分别为各种情况下的人体肤色设置人体肤色像素阈值。

7.根据权利要求4所述的面向虚拟三维背景的视频后期制作方法，其特征在于，所述训练图像和谐化模型的方法为：利用现有的图像和谐化据集的数据对所述图像和谐化模型进行训练。

8.根据权利要求6或7所述的面向虚拟三维背景的视频后期制作方法，其特征在于，所述现有的图像和谐化据集为图像和谐化数据库iHarmony4。