[发明专利]双模态情感识别模型训练方法及双模态情感识别方法

权利要求书

1.一种双模态情感识别模型训练方法，其特征在于，包括：

将语音训练数据输入第一神经网络模型进行训练，以得到语音情感识别模型；

将图像训练数据输入第二神经网络模型，采用交叉熵损失函数进行第一阶段的有监督训练，以得到第一阶段的初始图像情感识别模型；

将所述图像训练数据输入所述第一阶段的初始图像情感识别模型，采用焦点损失函数进行第二阶段的有监督训练，以得到目标图像情感识别模型；

将所述语音情感识别模型及所述目标图像情感识别模型进行决策级融合，以得到双模态情感识别模型。

2.根据权利要求1所述的方法，其特征在于，所述将语音训练数据输入第一神经网络模型进行训练，以得到语音情感识别模型的步骤，包括：

将语音训练数据输入第一神经网络模型，采用亲和力损失函数和焦点损失函数组成的联合损失函数进行有监督的训练，以得到语音情感识别模型。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

使用声学矢量传感器录制目标环境中的语音，并使用指定位的脉冲编码调制对采集到的语音信号进行编码，得出初始语音数据集；

将所述初始语音数据集进行预处理，所述预处理包括：选择所述初始语音数据集中的完整的语句语音数据、去除所述初始语音数据集中的语音数据的噪音、去除所述初始语音数据集中的语音数据中的静音数据中的一种或多种操作；

将预处理后的初始语音数据按照第一设定命名规则进行命名，得到语音训练数据集，所述语音训练数据为所述语音训练数据集中的数据；

录制所述目标环境中的视频，得到初始视频数据；

将所述初始视频数据与所述语音训练数据集中的语音数据对应剪切得到视频训练数据集，所述图像训练数据为所述视频训练数据集中的视频数据中的一帧或多帧图像，训练数据库包括所述语音训练数据集和所述视频训练数据集。

4.一种双模态情感识别方法，其特征在于，包括：

获取目标用户在目标时间段产生的语音数据；

获取所述目标用户在所述目标时间段的视频数据；

使用权利要求1-3任意一项所述的语音情感识别模型对所述语音数据进行识别，得到第一情感识别结果；

使用权利要求1-3任意一项所述的目标图像情感识别模型对所述视频数据中的每一张图片进行识别，得到每一张图片的图像情感识别结果；

根据每一张图像的所述图像情感识别结果确定出第二情感识别结果；

根据所述第一情感识别结果与所述第二情感识别结果的决策级融合确定出所述目标用户的情感识别结果。

5.根据权利要求4所述的方法，其特征在于，所述第一情感识别结果为各个情感分类对应的概率值形成的第一概率矩阵，所述第二情感识别结果为各个情感分类对应的概率值形成的第二概率矩阵；所述根据所述第一情感识别结果及所述第二情感识别结果确定出所述目标用户的情感识别结果的步骤，包括：

将所述第一概率矩阵及所述第二概率矩阵进行加权求和，确定出所述目标用户的情感概率矩阵；

根据所述情感概率矩阵确定出所述目标用户的当前情感类别。

6.根据权利要求5所述的方法，其特征在于，所述将所述第一概率矩阵及所述第二概率矩阵进行加权求和，确定出所述目标用户的情感概率矩阵的步骤，包括：

使用第一权重对所述第一概率矩阵进行加权，使用第二权重对所述第二概率矩阵进行加权；

对加权后的第一概率矩阵和加权后的第二概率矩阵进行求和，以得到所述目标用户的情感概率矩阵，其中，所述第一权重等于所述第二权重。