[发明专利]融合语音与微表情的多模态情感识别方法及系统

权利要求书

1.融合语音与微表情的多模态情感识别方法，其特征是，包括以下步骤：

S101：对历史微表情数据进行分类处理，并根据情绪发展趋势按序对每个分类子库设定情绪波动值后建立微表情数据库；

S102：根据历史语音情感表征词汇建立语音情感数据库，并根据微表情数据库、语音情感数据库建立语音与微表情的情感关联函数；

S103：同时获取同一目标对象的语音信息和脸部图像信息，并对语音信息进行预处理后提取情感表征词汇，以及对脸部图像信息进行图像处理后提取微表情数据；

S104：将相同时间轴上的情感表征词汇、微表情数据分别在语音情感数据库、微表情数据库进行相似度匹配，并根据匹配结果获取情感关联函数以及对应微表情的情绪波动值；

S105：根据时间轴分布顺序将获取的情感关联函数依次串联后建立情感识别网，并根据时间轴分布顺序将情感识别网逐级分解后得到多个情感识别线路；

S106：根据情感识别线路获取相应的情绪波动值，并根据情绪波动值、时间轴分布顺序建立情绪识别曲线；

S107：对情绪识别曲线进行情感波动度计算，并根据预设波动度选择合格的情感识别线路作为多模态情感识别结果。

2.根据权利要求1所述的融合语音与微表情的多模态情感识别方法，其特征是，所述情感关联函数具体为：

式中，Y(a,i_a),Y(b,i_b),...,Y(z,i_z)表示不同的微表情分类子库；a,b,...,z表示微表情；i_a,i_b,...,,i_z表示对应微表情的情绪波动值；X(A)表示情感表征词汇，并与Y(a,i_a),Y(b,i_b),...,Y(z,i_z)同时关联。

3.根据权利要求1所述的融合语音与微表情的多模态情感识别方法，其特征是，所述语音信息预处理具体为：

通过对语音信息进行自然语言处理后获取语音信息中的语速信息和句义信息；

根据语速信息、句义信息从语音信息中截取语句单元，并按序将语句单元作为情感表征词汇提取的独立数据。

4.根据权利要求3所述的融合语音与微表情的多模态情感识别方法，其特征是，所述情感表征词汇提取具体为：

对语句单元进行分词、词性标注后提取标注词组；

从标注词组中筛选出表征情绪的标注词作为情感表征词汇。

5.根据权利要求1所述的融合语音与微表情的多模态情感识别方法，其特征是，所述情感识别网建立具体为：

根据情感表征词汇的时间轴分布顺序将对应的情感关联函数依次排序；

将N+1时间序的情感关联函数同时串联在N时间序对应情感关联函数中的微表情分类子库，得到情感识别网，情感识别网分解后的情感识别线路具体为：

Q＝S₁×S₂×...×S_N

式中，Q表示情感识别线路的总数量；S_N表示N时间序的情感关联函数中微表情分类子库的数量。