[发明专利]一种基于语音和表情的自适应权重双模态融合情感识别方法

权利要求书

1.一种基于语音和人脸表情的自适应权重双模态融合情感识别方法，其特征在于，所述方法包括如下步骤：

S1、获取情感语音数据和人脸表情数据，将情感数据与情感类别相对应，并选取训练样本集合测试样本集；

S2、对语音数据提取语音情感特征，对表情数据提取动态表情特征，首先自动提取表情峰值帧，获取表情开始到表情峰值的动态图像序列，后将非定长的图像序列归一化为定长的图像序列，作为动态表情特征；

S3、分别基于语音情感特征和表情特征，采用基于半监督自动编码器的深度学习方法进行学习，通过softmax分类器得到分类结果和各类别输出概率；

S4、将两种单模态情感识别结果进行决策层融合，采用一种自适应权重分配的方法，得到最终的情感识别结果，

其中，步骤S4基于自适应权重的决策层融合步骤为：

S4.1:获取softmax分类器测试样本两种模态分别的各类输出概率，计算变量δ_k，δ_k可用来衡量该模态对情感表征的好坏，根据每个样本δ_k大小的不同实现权重的自适应分配，其中，J为系统中类的个数，P是样本输出概率组成的向量，P＝{p_j|j＝1,…,J}，p_j为softmax分类器输出的属于各类别的概率，d表示两向量间的欧式距离；

S4.2:将δ_k根据下式映射到[0,1]之间，作为权值，其中，a和b为自选参数，

u_k＝1-1/[1+exp(-a(δ_k-b))]；

S4.3:根据下式获得融合后的输出概率向量中P_final＝{p_{final_j}|j＝1,…,J}，最大概率所属类别即为识别类别，p_{j_k}为利用第k种模态进行单模态情感识别获得的第j种类别的概率输出，共K种模态；

2.根据权利要求1所述的基于语音和人脸表情的自适应权重双模态融合情感识别方法，其特征在于，所述步骤S2情感特征提取的具体步骤为：

S2A.1：对于语音情感数据，将获得的语音样本段进行分帧处理，划分为多帧语音段，并对分帧后的语音段进行加窗处理，得到语音情感信号，

S2A.2：对于S2A.1获得的语音情感信号，在帧水平上，提取低水平特征提取，基音F0、短时能量、频率微扰振幅微扰、谐噪比以及Mel倒谱系数等，

S2A.3：对步骤一帧水平获得的低水平特征，在多帧组成的语音样本水平上进行统计，对其应用多个统计函数，最大值、最小值、平均值、标准差等，获得语音情感特征；

S2B.1:对于人脸表情数据，首先，将获取的人脸表情特征点三维坐标数据，进行坐标变化，将鼻尖作为中心点，利用SVD原理得到旋转矩阵，乘旋转矩阵进行旋转变化，以消除头部姿态变化的影响，

S2B.2:利用慢特征分析方法提取峰值表情帧，

S2B.3:得到表情起始帧到表情峰值帧的动态表情序列后，利用线性插值法非定长的动态特征进行归一化。

3.根据权利要求1所述的基于语音和人脸表情的自适应权重双模态融合情感识别方法，其特征在于，所述步骤S3半监督学习的具体步骤为：

S3.1:针对某一模态数据，输入无标签和有标签输入训练样本，经过自编码器编码，解码和softmax分类器输出分别产生重构数据和类别输出，

S3.2:计算无监督学习表示重构误差E_r和有监督学习分类误差E_c，

S3.3:构造优化目标函数，同时考虑重构误差E_r和分类误差E_r，

E(θ)＝αE_r+(1-α)E_c；

S3.4:梯度下降法更新参数，直至目标函数收敛。

4.根据权利要求2所述的基于语音和人脸表情的自适应权重双模态融合情感识别方法，其特征在于，S2B.2:利用慢特征分析方法提取峰值表情帧，具体步骤如下：

1)将每个动态图像序列样本视为时间输入信号

2)将进行归一化，使得均差值为0，方差为1，

x(t)＝[x₁(t),x₂(t),…,x_I(t)]^T

3)将输入信号进行非线性扩展扩展，将问题转化为线性SFA问题，4)进行数据白化；

5)线性SFA方法求解。