[发明专利]融合语音与微表情的多模态情感识别方法及系统

说明书

本发明公开了融合语音与微表情的多模态情感识别方法及系统，涉及情况识别技术领域，其技术方案要点是：建立微表情数据库；建立语音情感数据库与情感关联函数；同时获取同一目标对象的语音信息和脸部图像信息，并提取情感表征词汇和微表情数据；根据匹配结果获取情感关联函数以及对应微表情的情绪波动值；建立情感识别网，并逐级分解后得到多个情感识别线路；获取相应的情绪波动值，并建立情绪识别曲线；情感波动度计算后根据预设波动度选择合格的情感识别线路。本发明增强了语音信息、脸部图像信息表征目标对象实时情感的真实性，同时降低了同一情况体现不同情况的概率，既提高情感识别结果的准确度，又降低了情感识别结果的误差。

技术领域

本发明涉及情感识别技术领域，更具体地说，它涉及融合语音与微表情的多模态情感识别方法及系统。

背景技术

情感识别作为计算机科学、认知科学、心理学、脑科学、神经科学等多学科交叉的新兴研究领域，其研究目的就是让计算机学习理解人类的情感表达，最终使其能够像人类一样具有识别、理解情感的能力。因此，作为一个极富挑战性的交叉学科，情感识别成为当前国内外模式识别、计算机视觉、大数据挖掘以及人工智能领域的一个研究热点，具有重要的研究价值和应用前景。

目前,对于情感识别有两种方式，一种是检测生理信号如呼吸、心律和体温等，另一种是检测情感行为如面部特征表情识别、语音情感识别和姿态识别。由于通过检测生理信号实现情感识别需要配备较为复杂的数据采集设备，投入成本相对较高，为此，仅能在特殊场景小范围使用，如心理分析；而对于通过情感行为检测实现情感识别，其所需要的主要设备为监控设备和语言采集设备，这两种设备是大部分场所、环境中的常规设置，如监控系统、智能终端设备，为此，通过检测情感行为相对来说更具有推广应用前景。

然而，现有的通过情感行为检测实现情感识别大部分采用单一的识别方式，对于自我控制能较强的人来说，其面部图像、语音信息和姿态行为所体现的情感信息是能够进行伪装掩饰的，导致现有情感识别结果的准确度较低，同时单一的情感识别方式也为目标对象进行伪装掩饰提供了条件；此外，对于较为单一的识别方式，不同的情感表征可能展现相同的面部图像、语音信息或姿态行为，导致现有的情感识别结果的误差较大。因此，如何研究设计一种准确度高、误差小的融合语音与微表情的多模态情感识别方法及系统是我们目前急需解决的问题。

发明内容

为解决现有情感识别技术的情感识别结果的准确度较低、误差大的问题，本发明的目的是提供融合语音与微表情的多模态情感识别方法及系统。

本发明的上述技术目的是通过以下技术方案得以实现的：

第一方面，提供了融合语音与微表情的多模态情感识别方法，包括以下步骤：

S101：对历史微表情数据进行分类处理，并根据情绪发展趋势按序对每个分类子库设定情绪波动值后建立微表情数据库；

S102：根据历史语音情感表征词汇建立语音情感数据库，并根据微表情数据库、语音情感数据库建立语音与微表情的情感关联函数；

S103：同时获取同一目标对象的语音信息和脸部图像信息，并对语音信息进行预处理后提取情感表征词汇，以及对脸部图像信息进行图像处理后提取微表情数据；

S104：将相同时间轴上的情感表征词汇、微表情数据分别在语音情感数据库、微表情数据库进行相似度匹配，并根据匹配结果获取情感关联函数以及对应微表情的情绪波动值；

S105：根据时间轴分布顺序将获取的情感关联函数依次串联后建立情感识别网，并根据时间轴分布顺序将情感识别网逐级分解后得到多个情感识别线路；

S106：根据情感识别线路获取相应的情绪波动值，并根据情绪波动值、时间轴分布顺序建立情绪识别曲线；

S107：对情绪识别曲线进行情感波动度计算，并根据预设波动度选择合格的情感识别线路作为多模态情感识别结果。