[发明专利]基于微表情、肢体动作和语音的多模态情感识别方法

说明书

本发明提供了一种基于微表情、肢体动作和语音的多模态情感识别方法，包括：第一步输入受试者接收某种信号的刺激的面部视频，对微表情进行识别；第二步输入受试者接收某种信号的刺激的身体视频，对肢体动作进行识别；第三步输入受试者接收某种信号的刺激的音频信号，对语音情感进行识别。将步骤第一步中的微表情识别结果和步骤第二步中肢体动作识别结果和第三步中的语音情感识别结果相融合，判断当前受试者的连续情感状态。本方法通过微表情识别出的情感和肢体动作识别和语音情感识别结果情感相结合，更准确的预测出受试者的情感状态。本发明的有益效果是：相较于现有技术，本发明可以更加准确的识别出人的真实情感。

技术领域

本发明涉及图像处理与模式识别领域，具体涉及基于微表情、肢体动作和语言的多模态情感识别方法。

背景技术

随着技术的发展，计算机已经成为生活中必不可少的一部分。人类随时随地都会有喜怒哀乐等情感的起伏变化。如何使计算机理解人类的情感成为了一个研究热点。科学家们通过赋予计算机系统类似于人类的观察、识别、理解、表达以及生成各类情感表现的能力，从而令计算机系统具备更高、更全面的智能，能使其如同人类般进行自然、生动且亲切地交流与互动。在很多场景中情感识别是很有必要的，比如在人机交互的过程中，智能服务机器人如果可以准确的识别人们的情感的，那么会带来更好的服务，让人机交互更加自然，顺畅，有温度。

微表情是一种持续时间仅为1/25秒至1/5秒的非常快速的表情, 表达了人试图压抑与隐藏的真正情感。在有些场景下人类会尽力掩饰自己的真实情感，甚至做出与真正情感相反的表情，但是在这种情况下，会产生一种非常快速并且动作幅度非常微弱的表情，这种表情被称为微表情。由于微表情可以表达出人类内心真实的情感，所以在预测情感上具有很大的前景。

肢体动作是人类表达情感的重要组成部分，蕴含了丰富的情感信息，相比于基于面部的情感识别，由于肢体动作变化的规律较难获取，基于肢体动作情感识别的研究较少。但是肢体动作的情感识别在现实复杂生活中的人机交互中会使表述更加生动，所以具有重要作用。

心理学家Albert Mehrabian通过研究发现，人们日常的交流中声音及其特征(例如语调，语速)体现了38%的情感，语音交流是人与人最自然的一种交互方式，有效的识别出语音的情感是实现和谐化人机交互的重要组成部分之一。

在情感分类中，Ekman 将情感分为基本的六类基本表情包括：愤怒(anger)、恐惧(fear)、厌恶(disgust)、惊奇(surprise)、悲伤(sadness)和高兴(happiness)。此外在后续研究中，研究学者加入了中性(neutral)、紧张(nervous)和放松(relaxed)等表情，使表情分类更加完善。

现有技术中公开了，通过拍摄装置获取用户指定身体区域的图像，所述指定身体区域的图像包括肢体图像和面部图像；通过第一处理规则对所述面部图像进行解析，获得用户的微表情特征；通过第二处理规则对所述肢体图像进行解析，获得用户的肢体动作特征；将所述肢体动作特征和微表情特征输入情绪分析模型，获得所述情绪分析模型输出的所述用户的情绪标签。

现有技术中还公开了，通过对目标的行为视频、图片以及语音进行提取，分别获取目标在不同情绪下的面部表情以及四肢行为的图片及视频，获取在相应情绪下的语音数据，丰富数据集，予以标注后制作成训练集。后使用CNN训练图片及视频帧数据，关键点为面部表情，头部动作，四肢动作，整体动作频率，这4点训练成一个集成模型，其次使用LSTM训练语音数据，最后将两个模型进行集成训练，合成集成模型，最终会产生3个模型，保证模型支持语音或图片单独检测的能力。

但是，现实生活中，人类的情绪微妙又复杂，这些基于分类的表情识别具有局限性，无法反正完整的反应人类真实的情感。为了弥补上述分类的情感模型的不足和丰富面部表情的表达，本方法使用连续的情感模型来描述人们的情感即Arousal-Valence连续情感维度。它是一个多维度的模型，从心理学上的激励、愉悦等不同角度描述情感，不同的情感角度是相互依赖的，也因此基于维度的情感模型具有更强的表达能力。