[发明专利]一种视频动作迁移方法

权利要求书

1.一种视频动作迁移方法，其特征在于，包括如下步骤：

S1：提取源视频和目标动作视频的动作序列并分别生成源姿态和目标姿态；

S2：接收所述源视频的图像输入；

S3：进行前景和背景的初步特征提取；

S4：分别对所述背景和所述前景的初步特征进行融合生成背景的融合特征和前景的融合特征；通过所述背景的融合特征合成融合特征合成背景；通过所述前景的融合特征合成融合特征合成前景和前景遮罩，进一步得到动作迁移后的目标视频在t时刻的帧模型；步骤S4中通过时空注意力机制分别对所述背景和所述前景的初步特征进行融合；所述时空注意力机制包括：

RB6结构：骨干网络由6个残差模块组成，所述初步特征由SOFTMAX通道维度加权融合；

SA3D+RB6结构：在所述RB6结构之前，添加三维的自注意力模块增强特征；

RB6+SA2D结构：在所述RB6结构之后，添加二维的自注意力模块增强特征；

S5：在所述帧模型中加入损失函数，所述损失函数包括内容损失函数和对抗损失函数，所述对抗损失函数包括空间对抗损失和多尺度时域对抗损失。

2.如权利要求1所述的视频动作迁移方法，其特征在于，采用2D姿态检测模型提取所述源视频和所述目标动作视频的动作序列。

3.如权利要求1所述的视频动作迁移方法，其特征在于，所述源视频的图像输入包括输入K帧图像，所述K的值为4。

4.如权利要求1所述的视频动作迁移方法，其特征在于，步骤S3中采用单帧迁移方法选取前景和背景分支的倒数第二层特征做后续的融合。

5.如权利要求1所述的视频动作迁移方法，其特征在于，步骤S4中，通过所述融合特征合成前景、所述融合特征合成背景和所述前景遮罩得到的所述目标视频在t时刻的帧模型为：

其中，为所述融合特征合成前景；为融合特征合成背景；为所述前景遮罩；⊙是逐个元素相乘。

6.如权利要求1所述的视频动作迁移方法，其特征在于，所述内容损失函数定义为：

其中，L_MSE是均方误差函数，O^t是所述目标视频在t时刻的帧模型，是所述目标视频在t时刻的真实帧；

所述内容损失函数还包括感知损失，所述感知损失定义为：

其中，φ表示由预训练的VGG19模型提取出的特征。

7.如权利要求6所述的视频动作迁移方法，其特征在于，所述空间对抗损失定义为：

其中，D_I是单帧图像判别网络，为所述目标视频在t时刻的目标姿态表示；

所述多尺度时域对抗损失定义为：

其中，W_T是由FlowNet2计算得到的光流序列，包含了每一对连续帧之间的光流信息；V_T是目标动作视频；V_o是目标视频；是时域判别器，接收n帧图像及其光流信息作为输入，学习判别生成的连续n帧和真实n帧。

8.如权利要求7所述的视频动作迁移方法，其特征在于，损失函数定义为：

L_total＝L_MSE+λ_VGGL_VGG+λ_GIL_GAN,I+λ_GVL_GAN,V

其中，λ_VGG、λ_GI、λ_GV分别为所述感知损失、所述空间对抗损失、所述多尺度时域对抗损失对应的权重系数。

9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8任一所述方法的步骤。