[发明专利]一种多模态情感识别方法及系统

说明书

本公开提供了一种多模态情感识别方法及系统，所述方案通过情感视频样本中语音分量的一种新型、鲁棒的端点检测算法，利用压缩感知理论下样本重建过程中产生的预测残差条件熵参数，计算正交匹配追踪算法(OMP)算法迭代过程中的残差条件熵差值，依据经验阈值完成端点检测，并基于重建样本完成有声段情感语音的特征学习；同时，通过情感语音的端点检测结果，对面部表情图像进行筛选，只保留具有活跃的情感语音同时间段的面部表情图像，达到增强面部表情数据集的情感可去分性、减少冗余性的目的；情感语音特征与面部表情特征经特征融合，训练有效的多模态情感识别模型，达到有效的多模态情感识别目的。

技术领域

本公开属于情感识别技术领域，尤其涉及一种多模态情感识别方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

情感识别是情感计算领域内的研究热点，情感语音与面部表情图像这两个模态的情感信号具有采集方便、情感信息量大的特点，是情感识别研究中重要的、且具有强相关性的两类数据源。

发明人发现，目前用于多情感识别领域中的情感语音数据与面部表情图像通常是对情感视频样本中的情感语音分量和图像分量分别保存得到的。情感语音样本的特征提取及学习均是针对有声段进行，因而端点检测是情感语音处理的一个必不可少的预处理步骤。情感视频采集时易受到噪声干扰，而且这种噪声在情感语音中更明显，噪声很容易影响到情感语音的端点检测精度，如何提高情感语音的抗噪性能、以及提高噪声环境下的语音的特征提取精度是一个需要有效解决的重要问题。

另外，在面部表情图像的采集上，现有的采集方式是把情感视频样本中所有的图像都保存下来。在面部表情的慢变特性下，这种无区分、无筛选的面部表情图像采集方式忽视不同模态情感表达方式之间的联系，也并未考虑面部表情图像的情感可区分性，造成所采集的表情图像的情感可识别性低、冗余性大，导致后续情感识别研究中所训练与学习的模型性能不佳。

发明内容

本公开为了解决上述问题，提供了一种多模态情感识别方法及系统。

根据本公开实施例的第一个方面，提供了一种多模态情感识别方法，包括：

提取情感视频中的情感语音分量及情感图像分量，并分别存储；

利用情感语音残差条件熵差值端点检测方法对所述情感语音分量进行端点检测，获得每帧语音的端点检测结果；

基于情感语音分量的端点检测结果对情感图像分量中的情感图像进行筛选，剔除情感图像分量中无声段的情感图像；

分别对重建后的情感语音分量和筛选后的情感图像分量进行特征提取；

对情感语音分量的特征与情感图像分量的特征进行融合，并通过融合特征对情感识别模型进行训练；

利用训练好的情感识别模型实现多模态的情感识别。

进一步的，所述情感语音残差条件熵差值端点检测方法是正交匹配追踪算法迭代执行过程中所产生的预测残差的基础上实现。

进一步的，利用情感语音残差条件熵差值端点检测方法对所述情感语音分量进行端点检测，包括以下步骤：

步骤(1)：对情感语音分量分帧得到短时语音帧，并获取短时语音帧的观测值；

步骤(2)：根据所述观测值，计算上一次迭代估计值与观测值的残差及残差与传感矩阵的相关性；

步骤(3)：寻找观测矩阵中相关性最大原子，更新信号重建的支撑集；

步骤(4)：使用最小二乘法对短时语音帧逼近，得到其估计值；

步骤(5)：更新残差，计算残差条件熵，迭代执行步骤(2)-步骤(5)，直至达到稀疏度条件后停止迭代；