[发明专利]模型的生成方法、情绪识别方法、系统、设备和存储介质

权利要求书

1.一种情绪识别模型的生成方法，其特征在于，包括：

获取若干历史语音信号；

对每个所述历史语音信号进行处理以得到语谱图；

将每个所述历史语音信号转换成文本信息，对所述文本信息进行处理以生成词向量；

将若干所述语谱图和若干所述词向量作为样本数据基于深度学习网络进行模型训练以得到多模态情绪识别模型。

2.如权利要求1所述的情绪识别模型的生成方法，其特征在于，所述深度学习网络包括第一多层单向LSTM网络和第二多层单向LSTM网络；

所述将若干所述语谱图和若干所述词向量作为样本数据基于深度学习网络进行模型训练以得到多模态情绪识别模型的步骤中：

将若干所述语谱图作为所述第一多层单向LSTM网络的输入；

将若干所述词向量作为所述第二多层单向LSTM网络的输入。

3.如权利要求2所述的情绪识别模型的生成方法，其特征在于，所述将若干所述语谱图和若干所述词向量作为样本数据基于深度学习网络进行模型训练以得到多模态情绪识别模型的步骤包括：

利用Attention机制对所述第一多层单向LSTM网络输出的隐向量做筛选和聚合，以得到第一上下文向量；

利用Attention机制对所述第二多层单向LSTM网络输出的隐向量做筛选和聚合，以得到第二上下文向量；

对所述第一上下文向量和所述第二上下文向量进行投票处理后利用SoftMax函数进行分类。

4.如权利要求3所述的情绪识别模型的生成方法，其特征在于，所述对所述第一上下文向量和所述第二上下文向量进行投票处理的步骤包括：

将所述第一上下文向量与所述第二上下文向量相加，或将所述第一上下文向量与所述第二上下文向量拼合成一个向量。

5.如权利要求1所述的情绪识别模型的生成方法，其特征在于，所述对每个所述历史语音信号进行处理以得到语谱图的步骤包括：

对每个所述历史语音信号进行预处理，以得到各帧的频谱；

将所述各帧的频谱沿时序拼合成所述语谱图；

所述预处理包括预加重、分帧、加窗和快速傅里叶变换；

和/或，

所述对所述文本信息进行处理以生成词向量的步骤包括：

对所述文本信息进行分词；

将分词后得到的词语利用训练好的词向量库映射为所述词向量；

所述词向量库利用若干用户点评文本使用无监督学习算法训练得到。

6.一种情绪识别方法，其特征在于，包括：

对待识别语音信号进行处理以得到待识别语谱图；

将所述待识别语音信号转换成待识别文本信息，对所述待识别文本信息进行处理以生成待识别词向量；

将所述待识别语谱图和所述待识别词向量输入至多模态情绪识别模型进行分类，以得到情绪识别的结果；

所述多模态情绪识别模型使用如权利要求1至5任一项所述的情绪识别模型的生成方法生成。

7.一种情绪识别模型的生成系统，其特征在于，包括：

获取模块，用于获取若干历史语音信号；

第一处理模块，用于对每个所述历史语音信号进行处理以得到语谱图；

第二处理模块，用于将每个所述历史语音信号转换成文本信息；

第三处理模块，用于对所述文本信息进行处理以生成词向量；

模型训练模块，用于将若干所述语谱图和若干所述词向量作为样本数据基于深度学习网络进行模型训练以得到多模态情绪识别模型。

8.如权利要求7所述的情绪识别模型的生成系统，其特征在于，所述深度学习网络包括第一多层单向LSTM网络和第二多层单向LSTM网络；

所述模型训练模块中将若干所述语谱图作为所述第一多层单向LSTM网络的输入，将若干所述词向量作为所述第二多层单向LSTM网络的输入。