[发明专利]一种视频动作迁移方法

说明书

本发明提供一种视频动作迁移方法，包括如下步骤：提取源视频和目标动作视频的动作序列并分别生成源姿态和目标姿态；接收源视频的图像输入；进行前景和背景的初步特征提取；分别对背景和前景的初步特征进行融合生成背景的融合特征和前景的融合特征；通过背景的融合特征合成融合特征合成背景；通过前景的融合特征合成融合特征合成前景和前景遮罩，进一步得到动作迁移后的目标视频在t时刻的帧模型；在帧模型中加入损失函数，损失函数包括内容损失函数和对抗损失函数，内容损失函数包括像素级误差损失与感知误差损失，对抗损失函数包括空间对抗损失和多尺度时域对抗损失。构建了具有通用性和灵活性的整体流水线模型。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种视频动作迁移方法。

背景技术

人像视频生成是一个有着海量应用场景的前沿课题。它可以被用于产生更高层视觉任务的训练数据，如人体姿态估计、对象检测与分组、个体身份识别等等。同时它还有助于研发更强有力的视频定向编辑工具。现有的人像视频生成方式主要有三类：无条件的视频生成、视频帧预测以及视频动作迁移。

无条件的视频生成关注于将多组一维的隐向量映射到人像视频，这种方法依赖于一维的隐向量来同时产生视频的外观和动作信息。训练完成后，通过在隐向量中随机采样可以得到不同的生成视频。然而这种方式不能灵活控制生成视频的动作和外观。

对于视频帧预测，已有工作致力于根据之前的帧预测未来的帧。这个问题也可以被看作一个两阶段问题：先从过去的帧预测出未来帧的动作变化，再从未来帧的动作预测完整的帧。其中第二阶段的工作和视频动作迁移是类似的，不过已有的视频帧预测方法都聚焦于第一个阶段，缺乏一些关于第二阶段如何保持外观细节和时域连续性的考量。

本申请关注的是视频动作迁移问题，致力于把目标视频中的人物动作迁移到源视频的人物身上，同时保留源人物的外观。如此一来可以确切的控制生成视频的动作，只要提供一组包含理想动作序列的目标视频。尽管已有不少方法试图解决单帧图像的动作迁移问题，但直接将他们的方法应用于连续视频效果并不理想。在视频动作复杂且难以预测的场合，单帧动作迁移方法会引入严重的模糊、锯齿以及其他视觉上不自然的现象。

除此之外最近还有一些工作，试图窄化通用的动作迁移问题，来将任意的动作迁移到固定的人物和场景。这类方法由于简化了问题的复杂度往往可以得到非常有吸引力的结果，然而它们并不能严格的归属于迁移问题：由于目标人物和场景单一，生成视频的外观和背景甚至不需要从源视频中迁移得到，而是可以固化记忆在网络参数中，形成一种动作隐向量直接幻化为视频的生成过程。因此这类方法需要对每一个源对象训练一个单独的模型，并且前景人物和背景场景的关系是绑定的，这与我们灵活、通用的初衷相违背。

所以现有技术中缺乏一种从图像应用到视频的有效方法。

发明内容

本发明为了解决现有的问题，提供一种视频动作迁移方法。

为了解决上述问题，本发明采用的技术方案如下所述：

一种视频动作迁移方法，包括如下步骤：S1：提取源视频和目标动作视频的动作序列并分别生成源姿态和目标姿态；S2：接收所述源视频的图像输入；S3：进行前景和背景的初步特征提取；S4：分别对所述背景和所述前景的初步特征进行融合生成背景的融合特征和前景的融合特征；通过所述背景的融合特征合成融合特征合成背景；通过所述前景的融合特征合成融合特征合成前景和前景遮罩，进一步得到动作迁移后的目标视频在t时刻的帧模型；S5：在所述帧模型中加入损失函数，所述损失函数包括内容损失函数和对抗损失函数，所述对抗损失函数包括空间对抗损失和多尺度时域对抗损失。

在本发明的一种实施例中，采用2D姿态检测模型提取所述源视频和所述目标动作视频的动作序列。

在本发明的一种实施例中，所述源视频的图像输入包括输入K帧图像，所述K的值为4。