[发明专利]动作迁移方法、装置、设备及存储介质

说明书

本公开提供了一种动作迁移方法、装置、设备及存储介质，其中首先获取包括初始对象的动作序列的第一初始视频；之后，识别所述初始对象在所述第一初始视频的多帧图像中的二维骨架关键点序列；再将所述二维骨架关键点序列转换为目标对象的三维骨架关键点序列；最后，基于所述三维骨架关键点序列，生成包括目标对象的动作序列的目标视频。

技术领域

本公开涉及计算机视觉技术领域，具体而言，涉及一种动作迁移方法、装置、设备及存储介质。

背景技术

动作迁移是将初始运动视频中初始对象的动作迁移到目标对象上，以形成目标运动视频。由于初始运动视频和目标运动视频存在很大的结构和视角差异，很难在像素级别上实现动作的迁移。尤其在初始对象做出极端动作，或者初始对象和目标对象的结构差异比较大时，迁移到目标对象上的动作准确度较低。

发明内容

有鉴于此，本公开至少提供一种动作迁移方法及装置。

第一方面，本公开提供了一种动作迁移方法，包括：

获取包括初始对象的动作序列的第一初始视频；

识别所述初始对象在所述第一初始视频的多帧图像中的二维骨架关键点序列；

将所述二维骨架关键点序列转换为目标对象的三维骨架关键点序列；

基于所述三维骨架关键点序列，生成包括目标对象的动作序列的目标视频。

本方面，通过二维骨架关键点序列提取、二维骨架关键点序列到三维骨架关键点序列的重定向以及基于三维骨架关键点序列进行目标对象的动作渲染，实现了动作迁移，避免直接在像素级别上实现动作迁移，能够克服初始视频和目标视频之间存在的结构和视角差异大的问题，尤其在初始对象作出极端动作或初始对象与目标对象的结构差异较大时，提高了动作迁移的准确度。另外，本方面利用二维骨架关键点序列重定向三维骨架关键点序列，避免了在动作迁移中使用误差较大的三维关键点估计和重定向，有利于提高动作迁移的准确度。

在一种可能的实施方式中，所述将所述二维骨架关键点序列转换为目标对象的三维骨架关键点序列，包括：

基于所述二维骨架关键点序列，确定所述初始对象的动作迁移分量序列；

基于所述初始对象的动作迁移分量序列，确定所述目标对象的三维骨架关键点序列。

本实施方式，利用二维骨架关键点序列正交分解后的动作迁移分量序列，来重定向三维骨架关键点序列，避免了在动作迁移中使用误差较大的三维关键点估计和重定向，有利于提高动作迁移的准确度。

在一种可能的实施方式中，在确定所述目标对象的三维骨架关键点序列之前，上述动作迁移方法还包括：

获取包括目标对象的第二初始视频；

识别所述目标对象在所述第二初始视频的多帧图像中的二维骨架关键点序列；

所述基于所述初始对象的动作迁移分量序列，确定所述目标对象的三维骨架关键点序列，包括：

基于所述目标对象的二维骨架关键点序列，确定所述目标对象的动作迁移分量序列；

基于所述初始对象的动作迁移分量序列和所述目标对象的动作迁移分量序列，确定目标动作迁移分量序列；

基于所述目标动作迁移分量序列确定所述目标对象的三维骨架关键点序列。

本实施方式，将初始对象的二维骨架关键点序列正交分解后的动作迁移分量序列，与目标对象的二维初始骨架关键点序列进行正交分解后的动作迁移分量序列进行融合后，来确定三维骨架关键点序列，能够克服初始对象作出极端动作或初始对象与目标对象的结构差异较大时，动作迁移准确度低的缺陷。