[发明专利]基于视觉传达的动画中间画智能生成方法及系统

权利要求书

1.一种基于视觉传达的动画中间画智能生成方法，其特征在于，该方法包括：

利用轨目模板从轨目图像中提取轨目信息点，根据轨目信息点的分布确定轨目信息点的页标识、类别得到真值轨目信息；

将第一关键张、第二关键张、真值轨迹信息和真值轨目信息输入中间画双向生成神经网络，得到第一中间画、第二中间画；所述中间画双向生成神经网络的损失通过以下方式衡量：对第一中间画与第一关键张的相似度、第二中间画与第二关键张的相似度、第一中间画与第二中间画的相似度求和得到第一损失；根据第一关键张、第一中间画、第二中间画、第二关键张中运动部件轨迹与真值轨迹的差异得到第二损失；根据目标中间画与第一关键张、第二关键张的轨迹距离得到推理轨目信息，所述目标中间画包括第一中间画和/或第二中间画，根据相同页标识的真值轨目信息与推理轨目信息的差异得到第三损失；第一损失、第二损失、第三损失求和得到中间画双向生成神经网络的损失。

2.根据权利要求1所述的一种基于视觉传达的动画中间画智能生成方法，其特征在于，所述中间画生成网络能够生成第一关键张、第二关键张之间所有的中间画：

在神经网络的基础上添加滑窗机制，滑窗长度为2，步长为1；由第一关键张、第二关键张生成第一中间画、第二中间画，滑窗移动后滑窗内的两帧图像变更为第一关键张和第一中间画、或第二关键张和第二中间画，根据滑窗内图像分别再次进行双向预测，直至最终获取所有符合轨目信息要求的中间画。

3.根据权利要求1所述的一种基于视觉传达的动画中间画智能生成方法，其特征在于，所述目标中间画的确定方法为：

分别获取第一中间画、第二中间画推理轨目信息与对应真值轨目信息的差异，若第一关键张、第二关键张之间中间画为一张，则目标中间画为第一中间画、第二中间画中对应差异较小的中间画；

若第一关键张、第二关键张之间的中间画为两张，则目标中间画为第一中间画和第二中间画。

4.根据权利要求1所述的一种基于视觉传达的动画中间画智能生成方法，其特征在于，所述第一中间画与第一关键张的相似度、第二中间画与第二关键张的相似度、第一中间画与第二中间画的相似度分别对应第一权值、第二权值、第三权值；其中，第一权值、第二权值之和为定值，所述第一损失为相似度的加权之和；所述第一损失用于在中间画双向生成网络训练时进行动态监督：根据目标中间画对第一权值或第二权值进行初始调节，然后再次生成中间画，若第三损失减小，则按照初始调节方式对第一权值或第二权值进行调节。

5.根据权利要求4所述的一种基于视觉传达的动画中间画智能生成方法，所述动态监督包括：若第一关键张、第二关键张之间中间画为一张，则增大目标中间画与对应关键张相似度对应的权值，根据再次迭代第三损失的变化情况，确定目标中间画与对应关键张相似度对应的权值变化趋势：若第三损失减小，则目标中间画与对应关键张相似度的权值增大，否则减小目标中间画与对应关键张相似度的权值；随着生成中间画次数不断增加，第三权值增大。

6.根据权利要求4所述的一种基于视觉传达的动画中间画智能生成方法，所述动态监督还包括：若第一关键张、第二关键张之间中间画为两张，初始则令第一权值减小，对应地增大第二权值，根据再次迭代第三损失的变化情况调整第一权值、第二权值：若所述第三损失减小，则第一权值减小，对应地增大第二权值；若所述第三损失增大，则第一权值增大，对应地减小第二权值；

当所述第一、第二权值稳定后，再进行第三权值的调整：初始先令第三权值减小，根据再次迭代第三损失变化情况调整第三权值：若所述第三损失减小，则第三权值减小；若所述第三损失增大，则第三权值增大。

7.根据权利要求1所述的一种基于视觉传达的动画中间画智能生成方法，其特征在于，所述中间画双向生成神经网络的损失为所述第一损失、第二损失、第三损失加权之和。