[发明专利]人脸关键点生成方法、装置、存储介质及电子设备

说明书

本申请公开了一种人脸关键点生成方法、装置、存储介质及电子设备，属于计算机技术领域。所述人脸关键点生成方法包括：对音频数据进行特征提取得到声音域特征，对模板人脸进行特征提取得到人脸特征，对人脸序列进行处理得到序列特征，将所述声音域特征、所述人脸特征和所述序列特征叠加生成输入特征，根据所述输入特征生成人脸关键点序列。故本申请中通过直接基于音频数据生成主要包括音素特征的相关特征，再进行处理得到自然变化的虚拟形象的人脸关键点相关信息，解决了现有技术完全依赖音频，对噪声环境下的声音，不同人的说话声的声音生成嘴唇变化图像的性能不够稳定的问题，提高虚拟形象嘴部动作的真实度和流畅度。

技术领域

本发明涉及计算机技术领域，具体涉及一种人脸关键点生成方法、装置、存储介质及电子设备。

背景技术

目前，虚拟形象合成可以应用在不同的场合，例如：在线教育过程中，由虚拟老师提供教学服务，不仅可以大大减轻教师的负担，还可以降低教学成本，比单纯的录播课等有更好的教学体验。除此之外，虚拟形象还可以应用在更广泛的场合中，例如：人工智能(Artificial Intelligence，AI)新闻主播、游戏、动画和应用程序等实际的商业场景中具有极大的商业价值。现有技术中对虚拟形象的合成，可以基于输入的声音数据，生成对应的嘴唇变化图像，以模拟说话时的嘴部动作，但现有合成的虚拟形象不够真实，降低了互动体验，现有的声音转关键点的虚拟形象技术完全依赖音频，对噪声环境下的声音，不同人的说话声的声音生成嘴唇变化图像的性能不够稳定。针对这一问题，亟待一种方法能够对输入的音频数据直接处理，并生成相应嘴部运动和面部表情自然变化的高质量虚拟形象。

发明内容

本申请实施例提供了一种人脸关键点生成方法、装置、存储介质及电子设备，可直接基于音频数据生成自然变化的虚拟形象，提高嘴部真实度。所述技术方案如下：

第一方面，本申请实施例提供了一种人脸关键点生成方法，包括：

对音频数据进行特征提取得到声音域特征；其中，所述声音域特征包括音素嘴型特征和声音编码特征；

对模板人脸进行特征提取得到人脸特征；

对人脸序列进行处理得到序列特征；其中，所述人脸序列包括角度序列约束特征和边界关键点约束特征；

将所述声音域特征、所述人脸特征和所述序列特征叠加生成输入特征；

根据所述输入特征生成人脸关键点序列。

第二方面，本申请实施例提供了一种人脸关键点生成装置，所述装置包括：

第一提取模块，用于对音频数据进行特征提取得到声音域特征；其中，所述声音域特征包括音素嘴型特征和声音编码特征；

第二提取模块，用于对模板人脸进行特征提取得到人脸特征；

处理模块，用于对人脸序列进行处理得到序列特征；其中，所述人脸序列包括角度序列约束特征和边界关键点约束特征；

叠加模块，用于将所述声音域特征、所述人脸特征和所述序列特征叠加生成输入特征；

生成模块，用于根据所述输入特征生成人脸关键点序列。

第三方面，本申请实施例提供了一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。

第四方面，本申请实施例提供了一种电子设备，包括：存储器和处理器；其中，所述存储器存储有计算机程序，所述计算机程序适用于由所述处理器加载并执行上述的方法步骤。

本申请一些实施例提供的技术方案带来的有益效果至少包括：