[发明专利]基于微表情、肢体动作和语音的多模态情感识别方法

权利要求书

1.基于微表情、肢体动作和语音的多模态情感识别方法，由摄像头，麦克风和情感处理单元实现，其特征在于，所述方法包括：

S1：微表情的识别方法，

所述摄像头采集情感分析受试者的面部视频数据发送至微表情识别单元，得到基于微表情的情感识别结果；

所述微表情的识别方法，包括：

S11：裁剪出脸部区域图像，并把宏表情与微表情的顶点帧作为一个表情样本的A部分；提取宏表情与微表情的起始帧与顶点帧之间的光流特征，作为表情样本的B部分；

S12：应用所述表情样本的A部分的宏表情数据和所述表情样本的B部分的宏表情的光流特征训练第一深度学习网络，生成预训练网络；

S13：应用所述表情样本的A部分的微表情数据和所述表情样本的B部分的微表情的光流特征输入所述预训练网络，进行再训练，生成微表情识别网络；

S14：应用步骤S11对微表情的预测数据进行数据预处理，将处理后的微表情的预测数据输入所述微表情识别网络，得到基于微表情的情感识别结果；

S2：肢体动作的识别方法，

所述摄像头采集情感分析受试者的肢体动作视频数据并发送至肢体动作识别单元，得到基于肢体动作的情感识别结果；

所述肢体动作的识别方法，包括：

S21：获取肢体动作视频，将所述肢体动作视频转化为肢体动作的RGB图像序列；通过人体骨架数据，得到18个人体骨骼关节点的二维坐标；将每个RGB图像序列和人体骨骼关节点作为一个肢体动作样本；

S22：构建双流网络，具体为：构建第二深度学习网络提取肢体动作的RGB图像特征和构建卷积神经网络提取人体骨架特征；将所述肢体动作的RGB图像特征和所述人体骨架特征结合，将得到的特征进行降维至一维，送入支持向量回归模型来预测情感维度，构成肢体动作识别网络；

S23：将所述肢体动作样本输入所述肢体动作识别网络进行训练，得到训练后的肢体动作识别网络；

S24：应用步骤S21对肢体动作的预测数据进行预处理，得到处理后的肢体动作预测数据，将所述处理后的肢体动作预测数据输入所述训练后的肢体动作识别网络，得到基于肢体动作的情感识别结果；

S3：语音的识别方法，

所述麦克风采集情感分析受试者的语音信号并发射至语音情感识别模块，得到基于语音的情感识别结果；

S4：多模态融合的识别方法，

将所述基于微表情的情感识别结果、基于肢体动作的情感识别结果和基于语音的情感识别结果进行加权融合，得到多模态融合的识别结果。

2.根据权利要求1所述的基于微表情、肢体动作和语音的多模态情感识别方法，其特征在于，所述语音的识别方法，包括：

S31：从麦克风获取情感分析受试者的语音，通过采样与量化将语音信号转化为计算机识别的数字信号；

S32：对所述数字信号进行帧级的低层次声学特征提取，得到语音特征集；

S33：将提取的语音特征集转化为1582维语音特征向量，并重塑为1*1582语音特征向量；

S34：构建联合网络并添加注意力机制，将得到的1*1582语音特征向量输入到联合网络中，提取语音特征，将得到的语音特征进行降维至一维，送入支持向量回归模型来预测语音的情感维度，构成语音情感识别网络，得到基于语音的情感识别结果。

3.根据权利要求2所述的基于微表情、肢体动作和语音的多模态情感识别方法，其特征在于，所述生成微表情识别网络之后还包括：应用留一交叉验证的方法验证所述微表情识别网络的准确率。

4.根据权利要求2所述的基于微表情、肢体动作和语音的多模态情感识别方法，其特征在于，所述得到训练后的肢体动作识别网络之后还包括：将20%的肢体动作样本用来对训练后的肢体动作识别网络进行验证。

5.根据权利要求2所述的基于微表情、肢体动作和语音的多模态情感识别方法，其特征在于，所述宏表情对应有宏表情的样本，具体获得宏表情的样本的具体方法还包括：将宏表情数据随机旋转0°，90°，180°或270°。