[发明专利]一种多模态情感识别方法及系统

权利要求书

1.一种多模态情感识别方法，其特征在于，包括：

提取情感视频中的情感语音分量及情感图像分量，并分别存储；

利用情感语音残差条件熵差值端点检测方法对所述情感语音分量进行端点检测，获得每帧语音的端点检测结果；包括以下步骤：

步骤(1)：对情感语音分量分帧得到短时语音帧，并获取短时语音帧的观测值；

步骤(2)：根据所述观测值，计算上一次迭代估计值与观测值的残差及残差与传感矩阵的相关性；

步骤(3)：寻找观测矩阵中相关性最大原子，更新信号重建的支撑集；

步骤(4)：使用最小二乘法对短时语音帧逼近，得到其估计值；

步骤(5)：更新残差，计算残差条件熵，迭代执行步骤(2)-步骤(5)，直至达到稀疏度条件后停止迭代；

步骤(6)计算第一次迭代与最后一次迭代的残差条件熵差值；短时重建语音帧拼接重建整个语音数据样本；

步骤(7)利用预设阈值对重建的情感语音分量进行判断，高于所述阈值则认为该帧语音为有声段，低于所述阈值则认为该帧语音为无声段，获得该帧语音的端点检测结果；

基于情感语音分量的端点检测结果对情感图像分量中的情感图像进行筛选，剔除情感图像分量中无声段的情感图像；

分别对重建后的情感语音分量和筛选后的情感图像分量进行特征提取；

对情感语音分量的特征与情感图像分量的特征进行融合，并通过融合特征对情感识别模型进行训练；

利用训练好的情感识别模型实现多模态的情感识别。

2.如权利要求1所述的一种多模态情感识别方法，其特征在于，所述情感语音残差条件熵差值端点检测方法是正交匹配追踪算法迭代执行过程中所产生的预测残差的基础上实现。

3.如权利要求1所述的一种多模态情感识别方法，其特征在于，所述获取短时语音帧的观测值，通过利用离散余弦变换完成语音帧的稀疏性变换，以高斯随机矩阵为观测矩阵，获取语音帧的观测值。

4.如权利要求1所述的一种多模态情感识别方法，其特征在于，所述残差条件熵的计算公式为：

其中，r_t是第t次迭代所获得的重建残差，A_t是OMP算法第t次迭代过程中由传感矩阵的原子构成的支撑集，为第t次迭代过程的中最小二乘法计算的估计值；A_t-1是OMP算法第t-1次迭代过程中由传感矩阵的原子构成的支撑集，为t-1次迭代过程中最小二乘法计算的估计值。

5.如权利要求1所述的一种多模态情感识别方法，其特征在于，所述基于语音的端点检测结果对情感图像分量中的情感图像进行筛选，剔除情感图像分量中无声段的情感图像，包括以下步骤：

根据语音端点检测结果，进行图像筛选，若该帧语音为有声段，则保留对应时间段的视频图像并利用面部检测算法，获取面部表情图像；若该帧语音为无声段，则抛弃对应时间段的视频图像；并对有效的面部表情图像进行存储。

6.如权利要求1所述的一种多模态情感识别方法，其特征在于，所述重建后的情感语音分量的特征提取步骤为：根据语音端点检测结果，基于有声段语音帧进行特征提取，通过时频域及谱分析得到情感语音分量的特征。

7.一种多模态情感识别系统，其特征在于，包括：

数据获取模块，其用于提取情感视频中的情感语音分量及情感图像分量，并分别存储；

端点检测模块，其用于利用情感语音残差条件熵差值端点检测方法对所述情感语音分量进行端点检测，获得每帧语音的端点检测结果；

图像筛选模块，其用于基于情感语音分量的端点检测结果对情感图像分量中的情感图像进行筛选，剔除情感图像分量中无声段的情感图像；

特征提取模块，其用于分别对重建后的情感语音分量和筛选后的情感图像分量进行特征提取；

模型训练模块，其用于对情感语音分量的特征与情感图像分量的特征进行融合，并通过融合特征对情感识别模型进行训练；

情感识别模块，其用于利用训练好的情感识别模型实现多模态的情感识别。