[发明专利]一种多模态情绪识别方法、装置、电子设备及存储介质

权利要求书

1.一种多模态情绪识别方法，其特征在于，包括以下步骤：

获取受试者的脑电信号、人脸信号和语音信号；

分别对所述脑电信号、所述人脸信号和所述语音信号进行预处理后，分别将所述脑电信号、所述人脸信号和所述语音信号输入训练好的脑电情绪识别模型、人脸情绪识别模型和语音情绪识别模型，得到所述脑电信号、所述人脸信号和所述语音信号对应每种情绪的概率；

使用最优权值分布算法，对所述脑电信号对应每种情绪的概率、所述人脸信号对应每种情绪的概率和所述语音信号对应每种情绪的概率进行权重赋值；

使用所述最优权值分布算法得到的权重赋值，对所述脑电信号对应每种情绪的概率、所述人脸信号对应每种情绪的概率和所述语音信号对应每种情绪的概率进行加权融合，得到所述受试者对应的情绪类别。

2.根据权利要求1所述的一种多模态情绪识别方法，其特征在于，使用最优权值分布算法，对所述脑电信号对应每种情绪的概率、所述人脸信号对应每种情绪的概率和所述语音信号对应每种情绪的概率进行权重赋值，包括：

S31：获取所述脑电信号对应每种情绪的概率、所述人脸信号对应每种情绪的概率和所述语音信号对应每种情绪的概率，作为最优权值分布算法的输入，其中，n模态对应n个回归模型，共T次试验用于预测，第k个模型中试验t的预测平均唤醒评分为A_tk，k∈{1，2，3,…，n}，t∈{1，2，3,…,T}；

S32：初始化权重集为{0.00，0.01，0.02，..。,0.98，0.99,1.00}，初始化均方根误差最小值为RS_min；

S33：在中循环枚举n个模态的权重，第k个模态的权重为ω_k，当所有权重之和为1时，使用以下公式，计算当前权重分布下的多模态融合得到的预测唤醒分数

其中，为当前权重分布下的多模态融合得到的预测唤醒分数，k∈{1，2，3,…，n}，n为模态总数量，ω_k为第k个模态的权重，A_tk为第k个模型中试验t的预测平均唤醒评分；

S34：使用以下公式，计算当前权重分布下T次试验的均方根误差RS_cut：

其中，RS_cut为当前权重分布下T次试验的均方根误差，为当前权重分布下的多模态融合得到的预测唤醒分数；y_t为真实的唤醒分数；

S35：比较RS_cut和RS_min的大小关系；当RS_cut＜RS_min时，认为当前权重分布下融合效果更好，因此要将RS_min更新为RS_cut的值；当RS_cut≥RS_min，则保留当前RS_min；

S36：迭代执行S33-S35，直至循环枚举结束，保存RS_min对应的权重分布，作为所述脑电信号对应每种情绪的概率、所述人脸信号对应每种情绪的概率和所述语音信号对应每种情绪的概率的权重赋值。

3.根据权利要求1所述的一种多模态情绪识别方法，其特征在于：

所述脑电情绪识别模型为tLSTM结构，包括由4层LSTM单元组成的树状部分、单个LSTM单元和全连接层；

所述树状部分的叶子节点上的LSTM单元的神经元数量相同。

4.根据权利要求1所述的一种多模态情绪识别方法，其特征在于：

所述语音情绪识别模型为LFCNN，包括顺次连接的并行卷积结构部分、残差结构部分、连续卷积部分和输出部分；

所述并行卷积结构部分包括三个并行卷积层，三个并行卷积层的输出将被合并在一起输入至所述残差结构部分；

所述残差结构部分主边缘包含两个卷积层；

所述连续卷积部分包括四个连续的卷积层；

所述输出部分包括多个稠密层，或，所述输出部分包括稠密层和SoftMax层。