[发明专利]一种基于多模深度学习的双模态情感识别方法

权利要求书

1.一种基于多模深度学习的双模态情感识别方法，其特征在于，包括步骤：

A)采集音视频信号，获取语音Mel频谱片段和与语音Mel频谱片段对应的视频片段，获得音频RGB图像三通道输入矩阵和视频RGB图像三通道输入矩阵，获得音频数据样本和视频数据样本；

B)构建音频深度卷积神经网络和视频深度卷积神经网络，利用音频数据样本训练音频深度卷积神经网络，获得高层次音频特征；利用视频数据样本训练深度卷积神经网络，获得高层次视频特征；

C)构建高层次的音视频统一特征，建立由全连接层构成的融合网络，融合网络最后一层全连接层与分类器相连；

D)将最后一层全连接层的输出聚合成全局特征，将全局特征输入到分类器中，获得音视频情感识别分类结果，验证融合网络的识别率。

2.根据权利要求1所述的一种基于多模深度学习的双模态情感识别方法，其特征在于，步骤A)中，获得音频数据样本包括步骤：

A1)采集一维的情感语音信号，采用N₁个Mel滤波器和N₂帧的文本窗大小，获得N₁×N₂的二维静态频谱片段特征；

A2)对二维静态频谱片段特征在时间轴上进行一阶求导，获得一阶求导系数；

A3)对二维静态频谱片段特征在时间轴上进行二阶求导，获得二阶求导系数；

A4)将语音信号的二维静态频谱片段特征、一阶求导系数和二阶求导系数分别作为RGB图像的三通道，获得特征为N₁×N₂×3的音频RGB图像三通道输入矩阵；

A5)对特征为N₁×N₂×3的音频RGB图像三通道输入矩阵进行缩放处理，获得预设特征大小的音频RGB图像三通道输入矩阵；

A6)依次重复步骤A1)至A5)，获得K个音频数据样本，记为{α₁，α₂，...，α_K}。

3.根据权利要求2所述的一种基于多模深度学习的双模态情感识别方法，其特征在于，步骤A)中，获得视频数据样本包括步骤：

A11)选取与语音Mel频谱片段对应的视频片段最中心的一帧图像作为关键帧图像；

A22)对每一幅关键帧图像进行实时性人脸检测与定位；

A33)计算出人脸双眼瞳孔中心之间的距离，将双眼瞳孔中心之间的距离统一缩放到n个像素大小的距离；

A44)把图像裁切成包含嘴巴、鼻子、额头等关键表情部位的N₃×N₄×3大小区域图像；

A55)对N₃×N₄×3大小区域图像进行缩放处理，获得预设特征大小的视频RGB图像三通道输入矩阵；

A66)依次重复步骤A11)至A55)，获得K个视频数据样本，记为{v₁，v₂，...，v_K}。

4.根据权利要求3所述的一种基于多模深度学习的双模态情感识别方法，其特征在于，步骤A5)中，采用双线性内插法对特征为N₁×N₂×3的音频RGB图像三通道输入矩阵进行缩放处理；步骤A55)中，采用双线性内插法对N₃×N₄×3大小区域图像进行缩放处理。

5.根据权利要求1所述的一种基于多模深度学习的双模态情感识别方法，其特征在于，步骤B)中，对音频深度卷积神经网络和视频深度卷积神经网络进行初始化，所述卷积神经网络均包含5个卷积层、3个池化层和3个全连接层，所有池化层均采用平均池化，最后一层全连接层与分类器相连。