[发明专利]虚拟角色的形象输出方法、装置、设备以及存储介质

权利要求书

1.一种虚拟角色的形象输出方法，应用于终端设备，其特征在于，包括：

当接收目标对象的互动请求时，根据所述互动请求输出预设的互动响应，并采集所述目标对象的音频数据及视频数据；

从所述音频数据中提取所述目标对象的第一语音数据，以及从所述视频数据中提取所述目标对象的多张口型变化图像，并根据所述口型变化图像得到所述目标对象的第二语音数据；

根据所述第一语音数据和所述第二语音数据确定所述目标对象的目标语音数据，并将所述目标语音数据输入至预设的语音识别模型，得到目标文本信息；

利用语义分析模型对所述目标文本信息进行语义分类处理，得到分类结果，并根据所述分类结果从回应方案数据库中获取目标回应方案，以及根据所述目标回应方案生成回应语音信息及虚拟人物的面部图像控制信息；

输出所述回应语音信息，并根据所述面部图像控制信息控制所述虚拟人物面部状态显示。

2.根据权利要求1所述的方法，其特征在于，所述互动请求为语音互动请求，所述根据所述互动请求输出预设的互动响应，并采集所述目标对象的音频数据及视频数据，包括：

根据所述语音互动请求输出预设的互动响应，并确定发送所述语音互动请求的声源方向；

将所述声源方向确认为所述终端设备件信息采集的目标方位，并判断所述目标方位是否存在目标对象；

当所述目标方位存在所述目标对象时，采集所述目标对象的音频数据及视频数据。

3.根据权利要求1所述的方法，其特征在于，所述从所述音频数据中提取所述目标对象的第一语音数据，包括：

将音频数据输入到语音提取模型的特征提取网络进行特征提取，获取所述音频数据对应的特征向量，所述音频数据包括所述目标对象的第一语音数据和环境的噪声数据；

将预设向量和所述特征向量输入到所述语音提取模型的语音提取网络，以从所述音频数据中提取出所述目标对象的第一语音数据，其中，所述语音提取模型通过用户语音训练获得，所述预设向量根据所述噪声数据获得，所述语音提取网络以所述预设向量为参考，调整所述第一语音数据和所述噪声数据在所述音频数据中所占的比例，以获取所述目标对象的第一语音数据。

4.根据权利要求1所述的方法，其特征在于，所述从所述视频数据中提取所述目标对象的多张口型变化图像，并根据所述口型变化图像得到所述目标对象的第二语音数据，包括：

提取所述视频数据的每一帧视频图像中目标对象的口型图像，并根据所述视频数据的时间轴赋予所述口型图像对应的时间戳；

根据所述时间戳将所述口型图像输入至预设的唇语识别模型，以获取所述目标对象的第二语音数据。

5.根据权利要求1所述的方法，其特征在于，所述根据所述第一语音数据和所述第二语音数据确定所述目标对象的目标语音数据，包括：

将所述第一语音数据和所述第二语音数据对比，判断所述第一语音数据是否存在语音缺失；

当所述第一语音数据存在语音缺失时，根据所述第二语音数据对所述第一语音数据进行语音补偿，得到所述目标语音数据。

6.根据权利要求5所述的方法，其特征在于，所述根据所述第二语音数据对所述第一语音数据进行语音补偿，得到所述到目标语音数据，包括：

标记所述第一语音数据的缺失部分，并获取与所述缺失部分对应的第一时间段；

从所述第二语音数据中获取与所述第一时间段对应的第二语音数据段，并利用所述第二语音数据段补偿所述缺失部分，得到所述目标语音数据。

7.根据权利要求1所述的方法，其特征在于，所述利用语义分析模型对所述目标文本信息进行语义分类处理，得到分类结果，包括：

将所述目标文本信息进行关键词拆分，并根据拆分后的关键词获取第一特征向量；

将所述第一特征向量输入至语义分析模型，以获取语义分类结果。