[发明专利]一种基于前馈神经网络的实时角色服装布料动画模拟方法

权利要求书

1.一种基于前馈神经网络的实时角色服装布料动画模拟方法，其特征在于，

包括两部分，一部分构建一个由服装特征提取和动画推断两部分组成的模型NeuralCloth Simulation，简称NCS，另一部分是数据集生成管线；

一、NCS

NCS模型由服装特征提取网络(GFE)和Animation Inference Network(AIN)两个神经网络模型构成；接下来介绍两个部分；

1)服装特征提取网络

GFE由变换χ_V、编码器φ_E、解码器φ_D和逆变换四部分构成；t帧服装网格经过变换χ_V得到同等维度的U_t，输入到GFE的编码器φ_E中得到特征向量再由解码器φ_D解码为逆变换得到重建结果V_t′；在训练时，用V_t和V_t′计算重建误差，使用优化器更新神经网络中的参数；在运行时，使用解码器和逆变换来将AIN的推断结果还原为服装模型的三维世界顶点位置；GFE的目的是用编码器φ_E和解码器φ_D进行服装三维模型的特征提取与还原，即输入服装模型包含的大量顶点的坐标，使用φ_E输出用户指定维度的一维数组，这个数组可以用φ_D有损地还原到提取前的状态；

“有损”体现为后文介绍的误差值；换χ_V、逆变换这两个操作的目的是对数据进行处理，将数据限定在较小的范围内，使得φ_E和φ_D的网络参数更好地收敛；

变换χ_V、逆变换

编码器φ_E与解码器φ_D是两个神经网络，为了让网络参数θ更好的收敛，设计了使数据分布更集中的变换操作χ_V：输入V_t，先将其从世界空间变换到本地空间，然后使用从数据集随机采样部分本地空间坐标统计得到的均值和方差对本地空间坐标进一步正规化(Normalization)：

其中U_t是t帧服装顶点向量变换后的结果，χ_V是变换操作；对于从世界空间变换到本地空间这一步，实验中以髋关节作为本地空间的原点，对于人形角色都可以采用这个设定，

上式中和分别是t时刻服装在世界空间下的平移与旋转，这里使用的是此时髋关节的数据，对应公式中的角标0，由此得到本地空间坐标；要实现正规化这一步，需要用到f_mean(X，δ)和f_std(X，δ)，是指在数据集中随机取百分之δ的采样进行求均值与标准差计算，δ的取值范围是80至100；注变换χ_V以V_t作为输入，δ作为参数，输出的是U_t；逆变换是变换χ_V的逆操作；

编码器φ_E、解码器φ_D

φ_E使用前馈神经网络构建；φ由若干个全连接层构成：

其中i是前馈网络φ中全连接层所在的层数；是线性变换的部分，W和b是的矩阵和偏移量，f是激活函数，是非线性变换的部分，v_in和v_out表示输入输出向量；W和b是网络模型学习得到的参数，激活函数f使用ReLU算法；

φ_E是由四个全连接层组成的前馈神经网络，输入t帧的向量输出

θ＝{W₁...W₄，b₁...b₄，f₁...f₄}

其中θ是四层全连接网络的参数，它包含每个全连接层中的矩阵W和偏移量b；令每层的输出维度为上一层的20％-40％，最终输出的是最低维度；φ_D的结构与其对称是指，与φ_E层数一样为四层，但输出维度序列相反；

为了得到由φ_E和φ_D共同组成的自编码器的参数即每层的W和b，设计误差函数如下：

重建误差由两部分构成，一部分是绝对笛卡尔坐标系下的MSE误差，一部分是可微分坐标下的MSE误差，二者以参数ω加权相加，取值范围0.1～2；第一部分误差衡量了重建前后顶点的欧几里德距离；第二部分的LV_t表示对V_t使用拉普拉斯算子得到的可微分坐标(differential coordinates)；δ坐标值的方向可以近似为法向量，长度可以近似本地平均曲率；从神经网络的角度，将重建前后的顶点δ坐标的MSE作为误差的一部分，可以对网格的细节进行优化；训练时，每次迭代得到的重建误差使用RMSProp算法对其进行优化，至损失值收敛为止，即，等到在训练集迭代1epoch时误差下降不足10^-2数量级时结束；

2)服装动画推断网络AIN

服装动画推断网络(Animation Inference Network，AIN)基于前馈神经网络模型构建，

输入当前帧及过去W帧的角色动画，输出当前时刻的服装特征v_t；对于本网络输入的处理经过剪裁得到：

是剪裁矩阵，将包含所有骨骼信息的剪裁为仅有K根所需骨骼的

第二步进行变换；本变换与U_t的计算相同，先转换到本地坐标系再用统计特性实现正规化：

公式中给出的裁剪操作和变换都是单帧的情况，接下来需要将当前及过去W帧的数据堆叠在一起，最终得到需要注意的是，计算P_t时，角标中标注t的部分是指在t帧以及过去W帧中，该值全部使用t时刻的值；W的取值范围是7至23；最后，变换和堆叠后的P_t输入前馈网络模型：

η＝{W₁...W₄，b₁...b₄，f₁...f₄}

误差函数使用MSE误差，使用Adam算法对其进行优化：

二、数据集生成管线，具体如下

标记“输入”的内容是数据集的输入；标记“采样”的流程是增加采样的部分，其余流程是中间处理过程，“输出”是数据集所包含的最终内容；在一个数据集中，角色模型与服装作为输入是固定的，对于角色动画，需要根据应用目标采样相关动作，并且同一动作采样有不同微调的多个版本；在制作好角色模型后，需要角色绑定，确定骨骼的数量与位置；根据绑定结果制作的动画，一方面参与之后的数据生成，一方面成为数据集的结果M；在服装动画方面，制作好的角色服装需要“穿”在角色身上，匹配好的角色与服装根据不同的模拟参数采样使用选择的模拟器进行服装动画的生成，最后将服装动画数据V储存。