[发明专利]用于确定嘴型的方法、装置、设备和存储介质

说明书

本公开涉及用于确定嘴型的方法、装置、设备和存储介质。在一种基于语音来确定虚拟人物的嘴型的方法中，获取用于确定虚拟人物的嘴型的语音序列。按照预定步长将语音序列划分为多个语音片段。基于多个语音片段，分别生成描述多个语音片段的多个向量化表示。基于多个向量化表示，根据嘴型生成模型中包括的真实人物的嘴型与真实人物的语音片段的向量化表示之间的关联关系，确定与多个语音片段的多个向量化表示相对应的嘴型序列。嘴型序列中的嘴型与多个语音片段中的语音片段的向量化表示相关联，以及嘴型生成模型是基于卷积神经网络获得的。采用上述实现方式，可以以更为有效的方式确定虚拟人物的嘴型，使得虚拟人物的嘴部动作更为自然。

技术领域

本公开内容的实现方式概括地涉及图像处理，并且更具体地，涉及用于确定基于语音确定嘴型的方法、装置、设备和计算机存储介质。

背景技术

随着计算机技术的发展，目前已经出现了虚拟主播技术。在虚拟主播技术中，可以使用虚拟人物来播放新闻、天气预报、以及教学等方面的内容。真实人物在说话时，由于不同的发音对应于不同的嘴型，因而期望虚拟人物在播报时的嘴型能够逼真地模拟真实人物的嘴型。此时，如何以更为真实地方式确定虚拟人物的嘴型，成为一个技术难题。

发明内容

根据本公开内容的示例实现方式，提供了一种用于确定嘴型的方案。

在本公开内容的第一方面中，提供了一种基于语音来确定虚拟人物的嘴型的方法。在该方法中，获取用于确定虚拟人物的嘴型的语音序列；按照预定步长将语音序列划分为多个语音片段；基于多个语音片段，分别生成描述多个语音片段的多个向量化表示；以及基于多个向量化表示，根据嘴型生成模型中包括的真实人物的嘴型与真实人物的语音片段的向量化表示之间的关联关系，确定与多个语音片段的多个向量化表示相对应的嘴型序列，其中嘴型序列中的嘴型与多个语音片段中的语音片段的向量化表示相关联，以及嘴型生成模型是基于卷积神经网络获得的。

在本公开内容的第二方面中，提供了一种基于语音来确定虚拟人物的嘴型的装置，包括：获取模块，配置用于获取用于确定虚拟人物的嘴型的语音序列；划分模块，配置用于按照预定步长将语音序列划分为多个语音片段；生成模块，配置用于基于多个语音片段，分别生成描述多个语音片段的多个向量化表示；以及确定模块，配置用于基于多个向量化表示，根据嘴型生成模型中包括的真实人物的嘴型与真实人物的语音片段的向量化表示之间的关联关系，确定与多个语音片段的多个向量化表示相对应的嘴型序列，其中嘴型序列中的嘴型与多个语音片段中的语音片段的向量化表示相关联，以及嘴型生成模型是基于卷积神经网络获得的。

在本公开内容的第三方面中，提供了一种设备。该设备包括一个或多个处理器；以及存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现根据本公开内容的第一方面的方法。

在本公开内容的第四方面中，提供了一种其上存储有计算机程序的计算机可读介质，该程序在被处理器执行时实现根据本公开内容的第一方面的方法。

应当理解，发明内容部分中所描述的内容并非旨在限定本公开内容的实现方式的关键或重要特征，亦非用于限制本公开内容的范围。本公开内容的其他特征将通过以下的描述变得容易理解。

附图说明

结合附图并参考以下详细说明，本公开内容的各实现方式的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：

图1示意性示出了基于真实人物的视频来生成虚拟人物的视频的示意图；

图2示意性示出了根据本公开内容的示例性实现方式的用于确定虚拟人物的嘴型的技术方案的框图；

图3示意性示出了根据本公开内容的示例性实现方式的用于基于真实人物的视频来生成嘴型模型的方法的流程图；

图4示意性示出了根据本公开内容的示例性实现方式的用于基于真实人物的视频来生成嘴型模型的过程的框图；