[发明专利]基于多模信息智能处理单元的多模信息融合情感分析方法

权利要求书

1.基于多模信息智能处理单元的多模信息融合情感分析方法，其特征在于：包括以下步骤：

S1：基于实现多模态融合的情感分析任务的目的，准备数据集；

S2：对数据集预处理，并设置一般性前提，在基于Ekman的六个情感类别中增加一个类别“neutral”；

S3：基于视觉信息提取情感特征：依据静止图像，在T0时刻，实体开始在镜头前表达情感，并在Tn时刻结束，训练出一个可以区分“neutral”类和基于Ekman的六个情感类别的情感分类器，专门用于静态图像的分类；再建立一个基于视频切帧的特征向量，将剪辑分成一组单独的帧，并在这些帧中提取特征，最后在所有视频帧的情感标签上使用多数投票来确定视频流的情感；

S4：基于音频信息提取情感特征：首先从数据集中的视频文件中提取音频信号，然后从音频信号中提取出长、短时间的音频特征，其中短时间的音频特征用于区分信号的时间特征，从每个短时间窗口中提取，紧接着，计算所有时间窗口的均方根值RMS，然后将总和超过频谱率的快速傅里叶变换FFT记为紧凑型；针对长时间的特征，通过聚合从一个时间窗口内的几个连续帧中提取的短期特征来生成；

S5：基于文本信息提取情感特征：提出一种情感范式，该情感范式认为文本既表达了语义也表达了情感，首先是构建一个概念词袋，对于文本中的每个概念，从语义空间中获得一个100维的特征向量，然后通过坐标求和将单个概念向量聚合成一个文档级向量，然后求和生成一个标量特征；

S6：融合多模情感特征，将多模信息智能处理单元提取的所有特征向量结合起来，具体是将所有的三种模式的特征向量连接起来，形成一个单一的长特征向量；

S7：构建实时情感分析框架，获得连续语音段的文本内容，并允许上传和接收情感视频，然后显示每个视频的情感表达，并作出最终的情感判定。

2.根据权利要求1所述的基于多模信息智能处理单元的多模信息融合情感分析方法，其特征在于：在步骤S3中，所述情感分类器来确定静态图像的情绪的七个情感类别，其次利用分类器来确定图像的基于Ekman的六个情感类别；这两个区分情感类别的步骤均使用相同的特征集；此外，为了建立一个基于视频切帧的特征向量，本发明首先将剪辑分成一组单独的帧，并利用上述方法在这些帧中提取特征，然后将这些图像分类为包含“neutral”类的七个情感类别中，再利用单个帧的特征向量的坐标平均建立了视频剪辑特征向量。

3.根据权利要求1所述的基于多模信息智能处理单元的多模信息融合情感分析方法，其特征在于：在步骤S4中，提取出来的音频特征中，基于短时间的特征从每个短时间窗口中提取期间，音频信号被假定为平稳的，同时利用短时傅里叶变换STFT计算了梅尔频谱系数MFCC，首先去震级谱的对数振幅，然后对快速傅里叶变换FFT桶进行分组和平滑，根据感知激励的Mel频率缩放，得到最佳的分类结果，光谱质心是STFT的震级谱的重心，质心用于测量光谱形状，质心的较高值表示频率较高的较亮纹理；然后将总和超过频谱率的FFT记为紧凑型；此外还通过时域零交叉评估信号量的噪音；针对长时间的特征，通过聚合从一个时间窗口内的几个连续帧中提取的短期特征来生成。

4.根据权利要求1所述的基于多模信息智能处理单元的多模信息融合情感分析方法，其特征在于：在步骤S5中，从文本提取出的每个概念的极性分数是在框架中的ScenticNet中得到的，并求和生成一个标量特征；针对否定可以直接改变陈述的语义这一特殊情况，对否定也予以特别的识别，并根据语义逆转与否标记后面的概念对应的特征的极性。

5.根据权利要求1所述的基于多模信息智能处理单元的多模信息融合情感分析方法，其特征在于：在步骤S6中，还使用了eNTERFACE数据集从多模态内容中检测情感，充分考虑了数据集中可用的视觉和音频线索，并融合后获得与数据相关的情感特征，具体包括：首先从音频和视频数据中提取关键特征，然后分析音频和视觉特征之间的交叉模态关系，随后利用HMM分类器来进行情感识别，并测量记录连续时间段之间的统计依赖性。