[发明专利]模型训练、人脸图像生成方法和装置以及存储介质

权利要求书

1.一种模型训练方法，包括：

对视频样本进行分离处理，获取与所述视频样本相对应的音频样本和人脸样本图像；

生成与所述音频样本相对应的样本声音特征矩阵；

根据人脸基准图像与所述人脸样本图像的比对结果，生成人脸关键点偏差序列；

根据相关联的所述样本声音特征矩阵和所述人脸关键点偏差序列构造训练样本；

利用所述训练样本对待训练的人脸关键点偏差模型进行训练，得到训练后的所述人脸关键点偏差模型。

2.如权利要求1所述的方法，所述生成与所述音频样本相对应的样本声音特征矩阵包括：

获取与所述音频样本相对应的梅尔频率倒谱系数MFCC特征，基于所述MFCC特征生成初始特征矩阵；

使用编码器对所述初始特征矩阵进行卷积处理，生成所述样本声音特征矩阵。

3.如权利要求1所述的方法，其中，所述人脸关键点偏差模型包括面部关键点偏差模型和表情关键点偏差模型；所述训练样本包括面部训练样本和表情训练样本；所述利用所述训练样本对待训练的人脸关键点偏差模型进行训练，得到训练后的所述人脸关键点偏差模型包括：

使用所述面部训练样本对待训练的所述面部关键点偏差模型进行训练，得到训练后的所述面部关键点偏差模型；

使用所述表情训练样本对待训练的所述表情关键点偏差模型进行训练，得到训练后的所述表情关键点偏差模型。

4.如权利要求3所述的方法，所述人脸关键点包括面部关键点和表情关键点；所述根据人脸基准图像与所述人脸样本图像的比对结果，生成人脸关键点偏差序列包括：

获取分别与所述人脸基准图像中的面部关键点、表情关键点相对应的面部关键点基准位置、表情关键点基准位置；

获取分别与所述人脸样本图像中的面部关键点、表情关键点相对应的面部关键点样本位置、表情关键点样本位置；

基于所述面部关键点基准位置与所述面部关键点样本位置之间的位置偏差生成面部关键点偏差序列，并基于所述表情关键点基准位置与所述表情关键点样本位置之间的位置偏差生成表情关键点偏差序列。

5.如权利要求4所述的方法，所述根据相关联的所述样本声音特征矩阵和所述人脸关键点偏差序列构造训练样本包括：

根据相关联的所述样本声音特征矩阵和所述面部关键点偏差序列构造所述面部训练样本；

根据相关联的所述样本声音特征矩阵和所述表情关键点偏差序列构造所述表情训练样本。

6.如权利要求3至5任一项所述的方法，其中，

所述面部关键点偏差模型和所述表情关键点偏差模型包括：LSTM模型；

其中，所述LSTM模型由一个输入层、多个隐藏层和一个输出层构成，最后一个隐藏层向所述输出层输出预测结果，所述输出层则采用激活函数将所述预测结果的取值限制在预设的取值区间。

7.一种人脸图像生成方法，包括：

接收到音频信息，生成与所述音频信息相对应的目标声音特征矩阵；

使用人脸关键点偏差模型获取与所述目标声音特征矩阵相对应的人脸关键点偏差信息；

获取与所述音频信息相对应的人脸基准图像，基于所述人脸基准图像与所述人脸关键点偏差信息生成与所述音频信息相对应的人脸图像；

其中，所述人脸关键点偏差模型是通过权利要求1至6中任一项所述的模型训练方法训练得到。

8.如权利要求7所述的方法，所述人脸关键点偏差模型包括面部关键点偏差模型和表情关键点偏差模型；所述人脸关键点包括面部关键点和表情关键点；所述使用人脸关键点偏差模型获取与所述目标声音特征矩阵相对应的人脸关键点偏差信息包括：

使用所述面部关键点偏差模型获取与所述目标声音特征矩阵相对应的面部关键点偏差信息；

使用所述表情关键点偏差模型获取与所述目标声音特征矩阵相对应的表情关键点偏差信息。