[发明专利]一种情感识别模型的训练方法、情感识别方法及装置

权利要求书

1.一种情感识别模型的训练方法，其特征在于，所述方法包括：

获取针对直播场景的音频样本数据集合，所述音频样本数据集合中的各音频样本数据具有预先标注的情感标签以及行为标签；

提取各音频样本数据中的音频特征，并对所述音频特征进行数据增强，获得音频特征集合；

将所述音频特征集合输入至初始识别模型，采用预设损失函数进行训练，生成情感识别模型，其中，所述初始识别模型是包括隐藏层以及NetVLAD层的深度神经网络模型；

所述获取针对直播场景的音频样本数据集合，包括：

获取初始音频样本数据集合，所述初始音频样本数据集合中的各音频样本数据具有预先标注的情感标签以及行为标签；

汇总所述初始音频样本数据集合中的各情感标签对应的音频样本数据的第一数量以及各行为标签对应的音频样本数据的第二数量；

根据所述第一数量对各情感标签对应的音频样本数据进行均衡，以及，根据所述第二数量对各行为标签对应的音频样本数据进行均衡，生成音频样本数据集合。

2.根据权利要求1所述的方法，其特征在于，所述对所述音频特征进行数据增强，获得音频特征集合，包括：

根据各音频样本数据的时长以及对应的音频特征，按照指定次数，随机抽取任意时长的数据作为新样本数据，并从对应音频样本数据中获取该新样本数据对应的音频特征；

将原有的各音频样本数据的音频特征以及各新样本数据的音频特征组成音频特征集合。

3.根据权利要求2所述的方法，其特征在于，所述音频特征包括频谱数据，所述对所述音频特征进行数据增强，获得音频特征集合，还包括：

对所述频谱数据按照预设策略进行增强；

将增强后的频谱数据添加到所述音频特征集合中。

4.根据权利要求1所述的方法，其特征在于，所述根据所述第一数量对各情感标签对应的音频样本数据进行均衡，包括：

根据最大的第一数量以及最小的第一数量，确定均衡系数；

对各情感标签对应的音频样本数据按照所述均衡系数进行复制；

从各情感标签对应的音频样本数据中随机抽取相同数量的音频样本数据，作为用于训练的音频样本数据。

5.一种情感识别方法，其特征在于，所述方法包括：

获取直播场景中的任意长度的目标音频流；

对所述目标音频流进行加窗处理，并提取窗口内的目标音频数据对应的目标音频特征集合；

将所述目标音频特征集合输入至根据权利要求1-4任一项中生成的情感识别模型中，由所述情感识别模型对所述目标音频特征集合进行处理，输出对应的多个情感标签的第一概率以及多个行为标签的第二概率；

根据多个所述第一概率以及多个所述第二概率，确定所述目标音频数据对应的目标行为以及所述目标行为下的目标情感标签。

6.根据权利要求5所述的方法，其特征在于，所述情感识别模型包括隐藏层以及NetVLAD层；所述由所述情感识别模型对所述目标音频特征集合进行处理，包括：

在所述情感识别模型中，由所述隐藏层从所述目标音频特征集合中提取隐藏特征；

将所述隐藏特征输入至所述NetVLAD层，由所述NetVLAD层对所述隐藏特征进行汇总，输出多个情感标签的第一概率以及多个行为标签的第二概率。

7.根据权利要求5或6所述的方法，其特征在于，所述根据多个所述第一概率以及多个所述第二概率，确定所述目标音频数据对应的目标行为以及所述目标行为下的目标情感标签，包括：

确定最大的第二概率对应的行为标签作为目标行为；

确定最大的第一概率，若所述最大的第一概率大于或等于预设阈值，则将该对应的情感标签作为所述目标行为下的目标情感标签；若所述最大的第一概率小于预设阈值，则将预设情感标签作为所述目标行为下的目标情感标签。