[发明专利]一种基于神经网络的运动数据重定向方法

说明书

本发明公开了一种基于神经网络的运动数据重定向方法，包括：基于关节坐标表示的运动数据以运动重建误差为损失函数训练得到一自编码器；获取源运动数据，并通过所述自编码器计算所述源运动数据对应的隐变量，并重建运动；对重建运动施加骨骼长度约束、足迹约束、根关节位置约束以及骨骼角度约束，并将约束损失反向传播至隐变量空间中优化所述隐变量；通过多次迭代，所述自编码器完成源骨骼到目标骨骼的运动重定向。本发明通过自编码器计算源运动数据对应的隐变量并重建运动，然后对重建运动施加各种约束，并将运动重构损失反向传播至隐变量空间中优化自编码器的隐变量，通过多次迭代最终得到重定向后的运动，取得了较好地运动重定向效果。

技术领域

本发明涉及运动仿真和动画制作技术领域，具体涉及一种基于神经网络的运动数据重定向方法。

背景技术

角色动画目前被广泛应用于计算机动画、游戏及虚拟现实等多方面应用中，三维模型的动画驱动是图形学中的热门研究领域之一，其中利用骨骼运动数据驱动三维模型时一类常用的方法。通常，设计人员设计出三维模型及其骨骼模型，再用已有的骨骼运动数据驱动三维模型形成角色动画。骨骼运动数据的获得方法包括手工设计和应用动作捕捉设备采集。但是，手工设计骨骼运动数据费时费力，显然不能作为主流方法。运动捕捉数据具有较强地针对性，只能记录特定表演者的运动序列，若直接应用于不同骨骼模型时就会产生一系列的运动失真现象，即运动数据无法重用。

运动重定向方法是指将原角色运动重定向到与其在骨骼长度比例，甚至拓扑结构不同的目标角色上，即保持原始运动特征的前提下，根据目标角色的骨架结构对原始数据进行编辑和修改的过程，运动重定向可实现用相同的运动捕捉数据驱动在骨骼长度或拓扑结构上有差异的多种动画角色，做到数据重用。

逆向运动学(inverse kinematics，IK)的运动重定向是目前最主要的重定向方法，此类方法需要根据骨架上的末端关节位置及运动学约束反向求解出其余关节点位置，这其中需要应用源数据中的骨骼长度、旋转角等运动学约束。如今越来越多的便捷设备被用于采集人体骨骼运动数据，然而这些便捷运动采集设备获取的运动数据由关节坐标表示，缺乏运动学约束，使得基于逆向运动学的方法并不适用。

发明内容

本发明的目的在于提供一种基于神经网络的运动数据重定向方法，不同于基于逆向运动学的重定向方法，通过一基于关节坐标表示的运动数据以运动重建误差为损失函数训练形成的自编码器计算源运动数据对应的隐变量并重建运动，然后对重建运动施加骨骼长度约束、足迹约束、根关节位置约束和骨骼间角度约束，并将运动重构损失反向传播至隐变量空间中优化自编码器的隐变量，通过多次迭代最终得到重定向后的运动，取得了较好地运动重定向效果。

为达此目的，本发明采用以下技术方案：

提供一种基于神经网络的运动数据重定向方法，包括：

基于关节坐标表示的运动数据以运动重建误差为损失函数训练得到一自编码器；

获取源运动数据，并通过所述自编码器计算所述源运动数据对应的隐变量，并重建运动；

对重建运动施加骨骼长度约束、足迹约束、根关节位置约束以及骨骼角度约束，并将约束损失反向传播至隐变量空间中优化所述隐变量；

通过多次迭代，所述自编码器完成源骨骼到目标骨骼的运动重定向。

作为本发明的一种优选方案，所述自编码器包括编码器和解码器，所述编码器包括3层全连接网络FC和1个双向长短时记忆网络Bi-LSTM，第一层全连接网络FC的神经元数量为128个，第二层全连接网络FC的神经元数量为256个，第三层全连接网络FC的神经元数量为512个，m帧所述源运动数据输入到所述编码器中，先后经三层全连接网络FC和所述双向长短时记忆网络Bi-LSTM的特征编码后，输出m×512维的运动数据记为隐变量，所述解码器将所述隐变量映射回运动数据空间，完成对目标骨骼的运动重建。