[发明专利]基于深度学习的动画生成模型训练、动画生成方法及装置

说明书

本发明提供了一种基于深度学习的动画生成模型训练、动画生成方法及装置，涉及计算机视觉领域，包括：获取训练集序列，训练集序列包括多个关键帧图像；将初始关键帧输入动画生成模型，确定预测后序关键帧；根据预测后序关键帧和实际后序关键帧确定损失函数的值；根据损失函数的值调整动画生成模型的参数直至满足收敛条件，完成对动画生成模型的训练。本发明通过输入为初始关键帧，作为输入的初始关键帧是由动画师给定，由训练好的模型补齐其他的预测后序关键帧，通过模型有效生成一系列动画，既保证了动画师设计的人物造型不会被改变，又避免了动画师大量的重复工作。

技术领域

本发明涉及计算机视觉领域，具体而言，涉及一种基于深度学习的动画生成模型训练、动画生成方法及装置。

背景技术

大部分的动画都依赖于计算机关键帧技术。计算机关键帧技术是目前在计算机动画界用来完成繁复的中间帧插补工作的主流方法，其基本思想是通过插值的方法插补两个关键帧之间的中间帧。在此之后，基于此思想提出的线性插值、样条插值、双插值、运动变形和运动映射等技术，在一定程度上满足了人们对动画生成的需求。

迄今为止在计算机动画生成领域使用的大部分方法仍然是基于关键帧的方法，但是无论是何种关键帧的获取方法，依旧有人工工作的存在。而随着近年来深度学习技术的兴起，如何使用深度学习技术让计算机自动生成动画也逐渐成为了计算机动画领域中一个新的研究热点。

目前主要在深度学习技术在计算机动画领域应用有利用特定物体的特征点结合深度学习生成关键帧的方法，但实际操作中有关特征点的提取较为困难，由于特征点提取的不准确，导致生成结果并不理想。深度学习技术在计算机动画领域应用还有提前对物体进行建模进行参数化生成的方法，对特定对象建模，将对象参数化后，再将参数随时间改变以达到生成动画的目的，但是由于像素风格人物具有多样性，且对人物的模型参数化的结果大部分对行走动画生成无益(如高矮、胖瘦等)，平白的增加了大量的工作量又与像素风格人物动画实际的应用方法不匹配。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题，为达上述目的，本发明第一方面的实施例提供了一种基于深度学习的动画生成模型训练方法，其包括：

获取训练集序列，所述训练集序列包括多个关键帧序列，每个所述关键帧序列包括人物不同的行走姿态的多个关键帧图像，多个所述关键帧图像包括初始关键帧和对应的实际后序关键帧，所述初始关键帧为所述人物在初始状态下的行走姿态，所述实际后续关键帧为所述人物在初始状态之后的行走姿态；

将所述初始关键帧输入所述动画生成模型，确定预测后序关键帧；

根据所述预测后序关键帧和所述实际后序关键帧确定损失函数的值；

根据所述损失函数的值调整所述动画生成模型的参数直至满足收敛条件，完成对所述动画生成模型的训练。

由此，本发明通过输入为初始关键帧，作为输入的初始关键帧是由动画师给定，由训练好的模型补齐其他的预测后序关键帧，通过模型有效生成一系列动画，既保证了动画师设计的人物造型不会被改变，又避免了动画师大量的重复工作。

进一步地，所述行走姿态包括人物的行走方向和行走动作，所述行走方向包括前方、后方、左方和右方，所述行走动作包括左腿迈出动作、右腿迈出动作和静止。

由此，通过图像翻译的方法，基于完整的动作素材，对像素风格人物面对不同的行走方向，做出不同的行走姿态的训练，有效将像素人物面向一个方向静止的关键帧翻译成面向另一个方向的关键帧，保证预测后序关键帧的准确性。

进一步地，所述动画生成模型包括第一级联网络和第二级联网络，所述预测后序关键帧包括第一级联后序关键帧和第二级联后序关键帧；所述将所述初始关键帧输入所述动画生成模型，确定预测后序关键帧包括：

将所述初始关键帧输入至所述第一级联网络，确定所述第一级联后序关键帧；