[发明专利]人脸关键点生成方法、装置、存储介质及电子设备

权利要求书

1.一种人脸关键点生成方法，其特征在于，所述方法包括：

对音频数据进行特征提取得到声音域特征；其中，所述声音域特征包括音素嘴型特征和声音编码特征；

对模板人脸进行特征提取得到人脸特征；

对人脸序列进行处理得到序列特征；其中，所述人脸序列包括角度序列约束特征和边界关键点约束特征；

将所述声音域特征、所述人脸特征和所述序列特征叠加生成输入特征；

根据所述输入特征生成人脸关键点序列。

2.根据权利要求1所述方法，其特征在于，所述对音频数据进行特征提取得到声音域特征，包括：

对音频数据进行特征提取得到声音编码特征；

对所述音频数据进行处理得到音素嘴型特征；

拼接所述声音编码特征和所述嘴型特征生成声音域特征。

3.根据权利要求2所述方法，其特征在于，所述对音频数据进行特征提取得到声音编码特征，包括：

基于预设帧率计算在所述音频数据的时间区间上的中心位置；

遍历所述时间区间提取所述中心位置前后预设长度的子时间区间内的梅尔倒谱系数MFCC声音特征；

通过卷积神经CNN声音编码网络和全连接网络FC对所述MFCC声音特征进行处理得到声音编码特征。

4.根据权利要求2所述方法，其特征在于，所述对所述音频数据进行处理得到音素嘴型特征，包括：

对所述音频数据进行处理得到音素序列；

根据音素与嘴型的映射关系确定所述音素序列对应的嘴型特征；其中，所述嘴型特征与所述MFCC声音特征对齐；

通过维度转换对所述嘴型特征进行处理得到音素嘴型特征。

5.根据权利要求4所述方法，其特征在于，所述对音频数据进行特征提取得到声音域特征之前，还包括：

标记音频数据中的音素和嘴型；其中，所述音素包括中文音素和英文音素，所述嘴型用嘴部张开大小表示；

通过聚类算法对所述音素和所述嘴型进行分类得到分类结果；

根据所述分类结果确定所述音素与所述嘴型的映射关系。

6.根据权利要求1所述方法，其特征在于，所述对模板人脸进行特征提取得到人脸特征，包括：

识别数据集中模板人脸获取人脸关键点坐标信息；

统计所述数据集中所有的所述人脸关键点坐标信息得到平均人脸关键点坐标信息；

确定目标人脸关键点坐标信息，基于所述目标人脸关键点坐标信息和所述平均人脸关键点坐标信息得到初始输入特征；

对所述初始输入特征进行处理得到人脸特征。

7.根据权利要求1所述方法，其特征在于，所述对人脸序列进行处理得到序列特征，包括：

获取角度序列约束特征和边界关键点约束特征；

对所述角度序列约束特征进行处理得到角度序列约束序列；

对所述边界关键点约束特征进行处理得到边界关键点约束序列；

将所述角度序列约束序列和所述边界关键点约束序列进行叠加得到序列特征。

8.根据权利要求1所述方法，其特征在于，所述将所述声音域特征、所述人脸特征和所述序列特征叠加生成输入特征，包括：

将所述声音域特征、所述人脸特征和所述序列特征进行Cat叠加得到第一叠加特征；

对所述第一叠加特征进行Stack叠加得到输入特征。

9.根据权利要求1所述方法，其特征在于，所述根据所述输入特征生成人脸关键点序列，包括：

对所述输入特征进行处理得到人脸关键点相关特征；

通过多层全连接网络对所述人脸关键点相关特征进行处理得到人脸关键点序列；其中，所述人脸关键点序列包括序列大小与音频数据长度关联参数、人脸关键点个数和对应坐标。

10.根据权利要求9所述方法，其特征在于，所述对所述输入特征进行处理得到人脸关键点相关特征为使用长短期记忆LSTM神经网络对所述输入特征进行处理得到人脸关键点相关特征。