[发明专利]一种动作迁移模型的训练方法及动作迁移方法

权利要求书

1.一种动作迁移模型的训练方法，其特征在于，包括：

获取训练视频文件，其中，所述训练视频为包含运动的人或物体的视频；

根据所述运动的人或物体的占有比例，提取所述训练视频文件的子区域图像，所述子区域图像为根据所述占有比例裁剪的源图像和驱动图像；

将所述源图像和所述驱动图像输入至待训练动作迁移模型，所述待训练动作迁移模型根据初始模型参数执行以下步骤：

获取所述源图像的源关键点坐标组，所述源关键点坐标组是所述源图像的源关键点坐标K_Sn合集，所述源关键点坐标K_Sn是源图像中的人或物体的结构上的特征点；

获取所述驱动图像的驱动关键点坐标组，所述驱动关键点坐标组是所述驱动图像的驱动关键点坐标K_Dn合集，所述驱动关键点坐标K_Dn是训练视频中运动的人或物体的结构上的特征点坐标；

根据所述源关键点坐标组和所述驱动关键点坐标组，获取由所述源关键点坐标组变换至所述驱动关键点坐标组的光流图和重绘图

获取所述源图像的隐层特征图，根据所述隐层特征图、所述光流图和所述重绘图获取目标图像，所述目标图像是将所述驱动图像中与所述驱动关键点坐标K_Dn相关联的待迁移动作迁移至所述源关键点坐标K_Sn后得到的图像；

从所述驱动图像中提取已知结构关键点坐标K_I和有监督关键点坐标K_D,s，并计算有监督关键点损失函数所述有监督关键点损失函数为所述已知结构关键点坐标K_I和所述有监督关键点坐标K_D,s的差异，所述差异通过以下公式计算：

其中，n为关键点序号；

获取经过薄板样条变换后的驱动图像D_tps；

获取所述经过薄板样条变换后的驱动图像D_tps的无监督关键点K_D,us,tps；

将K_D,us,tps做薄板样条逆变换获取驱动图像空间下的无监督关键点K_D,us,r，其中，K_D,us,r与K_D,us相同，并计算监督关键点损失函数所述监督关键点损失函数为K_D，us，r与K_D，us的差异，所述差异通过以下公式计算：

其中，n为关键点序号；

获取驱动图像的有监督关键点坐标K_D,s和无监督关键点坐标K_D,us附近的局部仿射变换参数J_D；

获取经过薄板样条变换后的驱动图像D_tps；

获得有监督关键点坐标K_D,s和无监督关键点坐标K_D,us附近的局部仿射变换参数J_D,tps；

将J_D,tps做薄板样条逆变换获得驱动图像空间下的J_D,r，并计算无监督局部仿射变换损失函数，所述无监督局部仿射变换损失函数为J_D,r与J_D的差异，所述差异通过以下公式计算：

将所述目标图像和所述驱动图像输入至神经网络模型P中，得到中间隐层的特征图输出，通过下式分别计算所述目标图像和所述驱动图像输入获取的特征图的的L₁距离：

其中，为神经网络模型P所有被使用的中间隐层层数，l为神经网络模型P的某层中间隐层，H_l和W_l为l层输出特征图的高度和宽度；

通过辨别器D获取辨别器损失函数L_D；

根据所述监督关键点损失函数所述无监督关键点损失函数所述无监督局部仿射变换损失函数感知损失函数L_P以及所述辨别器损失函数对初始模型执行反向传播，以及计算所述初始模型参数的梯度，直至达到模型收敛条件，完成训练，得到目标动作迁移模型。