[发明专利]一种3D人脸动画合成方法及系统

说明书

本发明公开了一种3D人脸动画合成方法及系统，属于人工智能技术领域，包括：采集用户语音的音频特征和文本的韵律特征；将音频特征和韵律特征作为预先训练好的轨迹预测网络的输入，得到该用户对应的发音器官运动轨迹；利用用户的发音器官运动轨迹驱动3D头部网络模型实现唇音同步的3D人脸动画合成。本发明采用发音器官的运动轨迹作为3D人脸模型动画参数，通过运动轨迹驱动3D人脸模型实现唇音同步的人脸动画，大大减少了计算量。

技术领域

本发明涉及人工智能技术领域，特别涉及一种3D人脸动画合成方法及系统。

背景技术

与单独的语音相比，唇音同步的语音动画能够增强在噪音情况下语音的理解性，更好地吸引用户的注意力，从而更好地实现人机交互。然而，合成唇音同步的语音动画，关键的问题是实现语音特征到视觉特征的转换(audio-to-visual conversion)。对于传统视素的方法，需要为每一个音素建立相应的视素。合成动画时，直接将音素映射到视素，然后通过主观定义的平滑函数或是协同发音模型实现连续的动画合成。然而此方法需要对每个音素建立相应的视素，导致大量计算的耗费，同时对动画制作者的专业水平要求较高，影响其广泛应用。

为了减少模型的计算量，研究者探索基于数据驱动的人脸动画合成方法，即利用语音信息实现3D人脸模型人脸动画参数的映射，再由人脸动画参数控制人脸面部运动，从而实现动画的合成。然而人们对声音与唇部动作是否一致十分敏感，采用单模态信息并不能实现高精度的人脸动画参数的映射，影响动画的真实感。

发明内容

本发明的目的在于克服上述背景技术中的不足，以减少计算量并提高合成动画的真实感。

为实现以上目的，一方面，采用一种3D人脸动画合成方法，包括如下步骤：

采集用户语音的音频特征和文本的韵律特征；

将音频特征和韵律特征作为预先训练好的轨迹预测网络的输入，得到该用户对应的发音器官运动轨迹；

利用用户的发音器官运动轨迹驱动3D头部网络模型实现唇音同步的3D人脸动画合成。

进一步地，所述轨迹预测网络包括瓶颈网络和LTRCNN网络，所述瓶颈网络的输入数据为所述韵律特征、输出为用户的发音器官运动轨迹，所述LTRCNN网络的输入为所述音频特征、所述韵律特征以及从瓶颈网络的瓶颈层提取得到的瓶颈特征、输出为所述发音器官运动轨迹。

进一步地，所述LTRCNN网络包括跨模态编码器和轨迹预测解码器，跨模态编码器的输入为所述音频特征、所述韵律特征以及从瓶颈网络的瓶颈层提取得到的瓶颈特征、输出与轨迹预测解码器的输入连接，轨迹预测解码器的输出为所述发音器官运动轨迹。

进一步地，在所述采集用户语音的音频特征和文本的韵律特征之前，还包括：

采集被试用户的发音器官运动轨迹数据、与发音器官运动轨迹同步的语音信号以及语音信号对应的文本数据；

对语音信号和文本数据分别进行特征提取，得到语音信号的音频特征和文本数据对应的韵律特征，并将音频特征、韵律特征和发音器官运动轨迹数据构建成样本集合；

利用样本集合中的样本数据对所述轨迹预测网络进行训练，得到所述训练好的轨迹预测网络。

进一步地，所述采集被试用户的发音器官运动轨迹数据、与发音器官运动轨迹同步的语音信号以及语音信号对应的文本数据，包括：

利用电磁发音动作描迹仪(Electro-Magnetic Articulatory，EMA)设备采集所述被试用户的发音器官运动轨迹数据；

利用语音采集设备采集与所述被试用户的发音器官运动轨迹同步的语音信号；

利用语音识别技术对所述被试用户的语音信号进行文本合成，得到所述语音信号对应的文本数据。