[发明专利]一种三维脸部动作生成方法和系统

权利要求书

1.一种三维脸部表情生成模型的训练方法，所述方法包括：

获取音频信号样本中的帧信号样本对应的音频特征样本；

获取所述帧信号样本对应的音素特征样本；

通过所述三维脸部表情生成模型处理所述音频特征样本和所述音素特征样本，得到所述帧信号样本对应的脸部表情系数预测值；

基于所述脸部表情系数预测值与所述帧信号样本对应的脸部表情系数标签的差异，调整所述三维脸部表情生成模型的参数。

2.如权利要求1所述的方法，所述方法还包括：

通过所述三维脸部表情生成模型处理所述音频特征样本和所述音素特征样本，得到所述帧信号样本对应的融合特征样本或者第一音频特征样本；

通过身份识别网络处理所述融合特征样本或者所述第一音频特征样本，得到所述帧信号样本对应的身份预测值；

基于所述身份预测值与所述帧信号样本对应的身份标签的差异，调整所述三维脸部表情生成模型的参数。

3.如权利要求1所述的方法，所述三维脸部表情生成模型包括特征融合网络和表情系数生成网络；所述通过所述三维脸部表情生成模型处理所述音频特征样本和所述音素特征样本，得到所述帧信号样本对应的脸部表情系数预测值包括：

通过所述特征融合网络处理所述音频特征样本和所述音素特征样本，得到所述帧信号样本对应的融合特征样本；

通过所述表情系数生成网络处理所述融合特征样本，得到所述帧信号样本对应的脸部表情系数预测值。

4.如权利要求2所述的方法，所述特征融合网络包括一个或多个第一特征提取单元和一个或多个第二特征提取单元；

所述通过所述特征融合网络处理所述音频特征样本和所述音素特征样本，得到所述帧信号样本对应的所述融合特征样本包括：

通过所述一个或多个第一特征提取单元处理所述音频特征样本，得到所述一个或多个第一特征提取单元对应的一个或多个第一音频特征样本；

通过所述一个或多个第二特征提取单元处理所述音素特征样本和所述一个或多个第一音频特征样本，得到所述帧信号样本对应的所述融合特征样本。

5.一种三维脸部表情生成模型的训练方法，所述方法包括：

获取音频信号样本中的帧信号样本对应的音频特征样本；

获取所述帧信号样本对应的音素特征样本；

基于所述音频特征样本和所述音素特征样本，通过特征融合网络和表情系数生成网络得到所述帧信号样本对应的脸部表情系数预测值；所述三维脸部表情生成模型包括所述特征融合网络和所述表情系数生成网络；

基于所述音频特征样本和所述音素特征样本，通过特征融合网络和身份识别网络得到所述帧信号样本对应的身份预测值；

基于所述脸部表情系数预测值与所述帧信号样本对应的脸部表情系数标签的差异、所述身份预测值与所述帧信号样本对应的身份标签的差异，调整所述三维脸部表情生成模型的参数。

6.一种三维脸部动作生成方法，包括：

获取音频信号中的至少一帧信号对应的至少一个音频特征；

获取所述至少一帧信号对应的至少一个音素特征；

通过三维脸部表情生成模型处理所述至少一个音频特征和所述至少一个音素特征，得到所述至少一帧信号中的每一帧信号对应的脸部表情系数；

基于所述至少一帧信号中的各帧信号对应的所述脸部表情系数、预设的脸部表情基底和预设脸部形状，得到所述至少一帧信号对应的至少一个三维脸部动作图像。

7.如权利要求6所述的方法，所述获取音频信号中至少一帧信号对应的至少一个音频特征包括：

获取所述至少一帧信号对应的至少一个窗口信号，其中一帧信号对应的窗口信号包括所述一帧信号所在的预设长度的音频信号；

基于所述至少一个窗口信号，获取所述至少一个音频特征。