[发明专利]一种基于深度迁移网络的多形态人脸情感生成方法

权利要求书

1.一种基于深度迁移网络的多形态人脸情感生成方法，其特征在于步骤如下：

步骤1：对数据集进行增强操作，将数据集分为训练数据集和测试数据集；所述的数据集为包含7种表情Angry，Disgust，Fear，Happy，Sad，Surprise，Normal的面部表情图像；

步骤2：为训练数据集生成标签文件：其中第一行表示训练数据集中总共包含多少张图像数据，第二行中的Angry，Disgust，Fear，Happy，Sad，Surprise，Normal分别表示图像所包含的特征信息，从第三行开始是分别对于每张图像的特征表示，第三行的信息代表的是数据集中的第一张图片，(1,-1,-1,-1,-1,-1,-1)序列与特征信息一一对应，1表示该图像包含有该种表情特征信息，-1则表示图像不包含该表情特征信息；按照同样的方法为测试数据集生成标签文件；

步骤3：利用训练数据集对多特征密集残差卷积神经网络进行训练，利用测试数据集进行测试提取人脸中的表情特征，最后利用JAFFE人脸表情数据集来验证该网络对表情特征提取是否有效，如果无效继续训练直至有效；所述的多特征密集残差卷积神经网络从上到下分别为64个3*3的卷积核、最大池化层、3个残差块、512个3*3的卷积核、平均池化层、全连接层；

步骤4：利用迁移学习，选用StarGAN神经网络模型进行表情特征的迁移；

步骤5：将用于情绪特征提取的卷积神经网络加入StarGAN模型；

步骤6：利用Wasserstein距离改进StarGAN模型中的判别器网络；在判别器D的深层网络结构中取出了最后一层的sigmoid函数，得到W-starGAN模型；改进后的W-StarGAN的判别器D在每次训练完权值更新后把参数截断在一定范围内，使用Lipschitz限制来降低梯度下降过程中出现梯度爆炸或是梯度消失问题的可能性；

步骤7：对W-starGAN模型重新进行训练，训练好的W-starGAN即可很好的实现表情迁移，并且生成的图像逼真且特征明显。

2.根据权利要求1所述的一种基于深度迁移网络的多形态人脸情感生成方法，其特征在于步骤1中所述的数据集包括JAFFE数据集或者Fer2013数据集。

3.根据权利要求1所述的一种基于深度迁移网络的多形态人脸情感生成方法，其特征在于步骤1中所述的增强操作包括图像旋转和图像裁剪算法。

4.根据权利要求1所述的一种基于深度迁移网络的多形态人脸情感生成方法，其特征在于步骤3中所述的残差块总共使用了三个密集块来完成整体连接，在残差块模块中，最开始的卷积层输出了32个卷积特征图，当模块的个数不断增加时增加，按照密集块排列的顺序依次以2(i-1)为增幅增加提取特征的卷积层的个数，i为卷积层的层数。