[发明专利]基于多尺度运动信息分离动画特效和背景内容的方法

说明书

本发明公开了一种基于多尺度运动信息分离动画特效和背景内容的方法，包括：1)获取动画视频中带有特效片段的序列帧；2)计算序列帧中每一帧与其它帧之间的单尺度特效预测图集合；3)合并每一帧的单尺度特效预测图集合作为多尺度特效预测；4)通过自注意力机制得到自注意力多尺度特效集合特征；5)通过三维卷积神经网络层提取输入序列帧的特征；6)联合序列帧的特征和自注意力多尺度特效集合特征；7)通过三维残差卷积神经网络分离特效序列帧和透明通道信息；8)将序列帧和特效序列帧作差，得到残损背景序列帧；9)通过三维卷积神经网络得到修复的背景序列帧。本发明可应用在特效迁移，以及提升在动画中分割以及识别特定对象的准确率。

技术领域

本发明涉及视频分离的技术领域，尤其是指一种基于多尺度运动信息分离动画特效和背景内容的方法。

背景技术

卡通作为一种视觉相关的艺术表现形式已经广泛应用于动画领域。为了呈现动画中的天气条件和环境，画家通常使用各种卡通特效展现效果，例如雨，雪，落叶，落花等特效。这些特效不仅用于表现环境，还有助于丰富动画中的视觉表现力。尽管近年来基于动画的卡通视觉研究已经得到了广泛的关注，但是由于动画场景中的卡通特效往往会遮挡一部分背景信息，这导致在分析动画背景时往往会丢失一部分信息，这不利于动画特定对象分割，动画背景分析等方向的研究。同时，动画中的卡通特效作为一种视觉展现的特效，其分层和迁移也有广泛的应用，这使得分离动画中的卡通特效和背景也成为了一种迫切的研究方向。

但是，由于动画中卡通特效本身移动较无规律，且卡通特效种类复杂，大小不一，这加大了传统规则方法分离特效的难度。同时，动画卡通特效数据集较为稀少，这也加大了深度学习方法分离特效的难度。目前已经有一些方法通过深度学习或传统时序的方法分离前景和背景，但是这些方法都不适用于分离动画中的卡通特效，因为它们往往考虑的视频是自然视频，而且自然视频中的前景分布和卡通动画中特效分布往往不一致，例如动画中特效的大小形状变化多端且出现位置更加无法预测。所以，如何准确分离动画中的卡通特效和背景就成为了一个关键问题。

发明内容

本发明的目的在于克服现有技术的不足与缺点，提出了一种基于多尺度运动信息分离动画特效和背景内容的方法，能将动画视频片段分离为精细的特效效果和干净的背景内容，可有效适用于动画中不同特效的分离，同时，在有效分离特效后，能够进一步修复特效背后的背景内容，对于下游应用如分割、识别和特效迁移都有极大的提升。

为实现上述目的，本发明所提供的技术方案为：基于多尺度运动信息分离动画特效和背景内容的方法，包括以下步骤：

1)获取数据，包括动画视频中带有特效片段的序列帧作为输入；

2)计算输入的序列帧中每一帧与其它帧之间的单尺度特效预测图集合；

3)合并每一帧的单尺度特效预测图集合作为多尺度特效预测；

4)通过自注意力机制调整多尺度特效预测，得到自注意力多尺度特效集合特征；

5)通过一个三维卷积神经网络层提取输入序列帧的特征；

6)联合输入序列帧的特征和自注意力多尺度特效集合特征；

7)通过三维残差卷积神经网络，每个残差模块加入非局部Non-local模块来强化时序信息关联，接着输出分离的特效序列帧和透明通道信息；

8)通过将输入序列帧和分离得到的特效序列帧作差，得到残损背景序列帧；

9)合并残损背景序列帧和透明通道信息，输入到三维卷积神经网络中，所有卷积层替换成门卷积进行动态特征选择，中间层替换为不同膨胀率的膨胀卷积，最终输出得到修复的背景序列帧。