[发明专利]一种音频驱动人脸动画生成方法、装置、设备与介质

说明书

本发明公开了一种音频驱动人脸动画生成方法、装置、设备和介质，该方法包括以下步骤：步骤1，采集语音信号，提取MFCC特征并输入音素识别器，获得语音的音素分类概率；步骤2，将音素分类概率输入Embedding层，得到音素的Embedding编码；步骤3，将音素的Embedding编码输入表情预测器，得到3D人脸的顶点位移；步骤4，将3D人脸顶点位移与自然表情的人脸模板相加，得到带说话表情的3D人脸；步骤5，将连续时间内的3D人脸渲染为2D图像，生成动画视频。本发明将发音和人脸表情直接关联，能够识别全球超2000种语言，具有更强的泛化能力，同时，可以为不同语言的动画进行配音，大大降低动画制作成本。

技术领域

本发明属于人工智能领域，涉及一种音频驱动人脸动画生成方法、装置、设备与介质。

背景技术

音频驱动人脸动画生成涵盖语音处理、计算机图形学、计算机视觉、多媒体等多个学科领域。近年随着人工智能和多媒体技术的不断发展，虚拟数字人技术得到广泛的关注，音频驱动3D人脸动画作为其中的一个重要组成部分，也得到越来越多的关注。音频驱动人脸动画技术能够大大简化3D角色动画制作，使动画与配音音轨匹配，轻松完成游戏、电影和实时数字助理的动画角色制作；可用于交互式实时应用场景、传统的面部动画创作工具等。

现有的音频驱动人脸动画生成方案，仅针对单种语言，即单个模型仅对特定的语言能够具有较好的面部动作表情生成，若需针对不同语言，需设计不同的网络结构并进行训练。如论文“Capture, Learning, and Synthesis of 3D Speaking Styles”针对英语语音，首先利用一个语音识别模型DeepSpeech将音频识别为文字信息，之后再利用文字信息去预测3D人脸的相应动作变化。然而相比于文字信息，发音才是与嘴部运动具有最直接关系，而与语音所传达的语义无关。一个未知语言的音频信号预测一个人脸动画是有可能的。

现有的专利“用于生成动画的方法和装置”，CN109377539A公开了其音素与嘴型是预设的对应关系，从而确定嘴型对象，在其得到该嘴型信息匹配的嘴型对象后，直接将各信息进行汇总，利用现有的动画制作工具，例如Unity 3D，Maya等，生成人脸图像。其局限于需要进行预设，以及人脸图像的生成过程具有一定的复杂性。相同的，现有的专利“视频生成方法和装置”，CN 113282791 A亦是公开其音素与表情的对应关系是预设的。

发明内容

为了解决现有技术中存在的上述技术问题，本发明提供了一种音频驱动人脸动画生成方法、装置、设备与介质，其具体技术方案如下：

一种音频驱动人脸动画生成方法，包括以下步骤：

步骤1，采集语音信号，提取MFCC特征，并输入音素识别器，获得语音的音素分类概率；

步骤2，将音素分类概率输入Embedding层，得到音素的Embedding编码；

步骤3，将音素的Embedding编码输入表情预测器，得到3D人脸的顶点位移；

步骤4，将3D人脸顶点位移，与自然表情的人脸模板相加，得到带说话表情的3D人脸；

步骤5，将连续时间内的3D人脸渲染为2D图像，生成动画视频。

进一步的，所述音素识别器，由5个堆叠的双向LSTM和一个全连接层串联组成，通过最小化CTC损失函数来优化网络参数，其中双向LSTM的输入大小为120，隐藏层的单元数为320，输出大小为640；全连接层输入大小为640，输出大小为230，全连接层的激活函数为softmax。

进一步的，所述音素识别器输出为一个长度为230的概率向量，分类包含1个空隔及229个国际音标，共230个类别，该229个国际音标覆盖全球超过2000种语言的发音。

进一步的，所述的Embedding层将音素分类概率编码为一个64维向量，构建音素之间的内在联系，并去除冗余信息。