[发明专利]基于神经网络的语音应答方法、存储介质以终端设备

权利要求书

1.一种基于神经网络的语音应答方法，其特征在于，其包括：

当接收到用户输入的用户语音时，根据所述用户语音确定其对应的应答语音；

将所述应答语音输入预设的表情特征生成模型以获取所述应答语音对应的表情特征序列；

根据所述表情特征序列确定所述应答语音对应的面部表情序列，并控制预设的虚拟形象播放所述应答语音且同步播放面部表情序列。

2.根据权利要求1所述基于神经网络的语音应答方法，其特征在于，所述将所述应答语音输入预设的表情特征生成模型以获取所述应答语音对应的表情特征序列具体包括：

将所述应答语音转换到频域以得到其对应的第一频谱图，并将所述第一频谱图切分成时间序列；

将所述时间序列输入预设表情特征生成模型以获取相应的表情特征序列，其中，所述表情特征序列与应答语音按时间同步对应。

3.根据权利要求1所述基于神经网络的语音应答方法，其特征在于，所述根据所述表情特征序列确定所述应答语音对应的面部表情序列，并控制预设的虚拟形象播放所述应答语音且同步播放面部表情序列具体包括：

将所述表情特征序列中的各第一表情特征依次重定向至预设的虚拟形象模型上，以得到所述应答语音对应的面部表情序列；

控制预设的虚拟形象播放所述应答语音且同步播放面部表情序列，其中，所述面部表情序列与应答语音按时间轴同步。

4.根据权利要求3所述基于神经网络的语音应答方法，其特征在于，所述将所述表情特征序列中的各第一表情特征依次重定向至预设的虚拟形象模型上，以得到所述应答语音对应的面部表情序列具体包括：

按照时间序列提取所述表情特征序列包含的各第一表情特征，其中，所述第一表情特征包括若干表情特征点；

对于每个第一表情特征将其包含的所有表情特征点均重定向至预设的虚拟形象的模型上，以得到所述应答语音对应的面部表情序列。

5.根据权利要求4所述基于神经网络的语音应答方法，其特征在于，所述第一表情特征包含的若干表情特征点均对应相同的时间点。

6.根据权利要求3所述基于神经网络的语音应答方法，其特征在于，所述控制预设的虚拟形象播放所述应答语音且同步播放面部表情序列具体包括：

将得到的面部表情序列同步至虚拟形象的骨骼动画上，以得到应答语音对应的骨骼动画；

通过所述虚拟形象播放所述应答语音，并且按照时间轴同步播放所述骨骼动画。

7.根据权利要求1所述基于神经网络的语音应答方法，其特征在于，所述当接收到用户输入的用户语音时，根据所述用户语音确定其对应的应答语音之前包括：

采集视频信息，其中，所述视频信息包括语音信息以及图像信息；

提取所述语音信息对应的第二频谱图以及图像信息对应的表情特征集合；

建立深度学习网络，并采用所述第二频谱图和表情特征集合对深度学习网络进行训练，以得到用于识别频谱图对应的第二表情特征的表情特征生成模型。

8.根据权利要求7所述基于神经网络的语音应答方法，其特征在于，所述提取所述语音信息对应的第二频谱图以及图像信息对应的表情特征集合具体包括：

将所述语音信息转换到频域以得到对应的第二频谱图；

按照时间轴获取所述图像信息包括的各图像帧的第二表情特征，以得到图像信息对应的表情特征集合。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1～8任意一项所述的基于神经网络的语音应答方法中的步骤。

10.一种终端设备，其特征在于，包括：处理器、存储器及通信总线;所述存储器上存储有可被所述处理器执行的计算机可读程序；

所述通信总线实现处理器和存储器之间的连接通信；

所述处理器执行所述计算机可读程序时实现如权利要求1-8任意一项所述的基于神经网络的语音应答方法中的步骤。