[发明专利]一种基于面部动作组合检测的情绪识别方法及装置

说明书

本发明提供一种基于面部动作组合检测的情绪识别方法及装置。所述方法包括：获取脸部图像，对所述图像进行特征提取；将提取的图像特征输入注意力模块，得到每个面部动作在脸部的空间位置及脸部感兴趣区域特征；基于所述空间位置和感兴趣区域特征，利用transformer自注意力机制获得不同面部动作的关联特征，进而对面部动作进行预测；通过对所述关联特征进行融合对面部动作的组合进行预测，从而得到情绪变化。本发明通过对所述关联特征进行融合对面部动作的组合进行预测，从而得到情绪变化，提高了情绪识别精度，解决了相对现有技术由于不能关注不同面部动作之间的关联，只通过面部动作的简单组合预测情绪变化，情绪识别精度低的问题。

技术领域

本发明属于人工智能技术领域，具体涉及一种基于面部动作组合检测的情绪识别方法及装置。

背景技术

面部表情是传达非语言信息的主要手段。据心理学家研究表明，在人类日常交流中，通过面部微表情传达的情感信息可达信息总量的55％，因此学会“察言观色”是协调人际关系的重要方式之一。对于盲人而言，建立一套能识别面部微表情从而感知他人情绪的装备尤为重要，可以帮助其察觉他人情绪状态，加强沟通效果。

面部表情是人类面部肌肉及五官形成的状态，如微笑、生气等。面部表情可通过面部动作表达，根据面部动作描述面部的活动，每个面部动作代表一个基本的面部运动或表情变化，它们的组合可以描述复杂的情绪变化。随着人工智能技术的发展，使用深度学习的方法识别面部表情从而获得人们当前情绪成为可能。图2展示了一种基于深度学习方法进行人脸动作单元检测的网络结构，称为EACNet。其技术原理为：在VGG网络的基础上，增加了增强学习和剪裁学习两个模块。增强学习模块通过添加注意力机制的方式使网络在模型训练中给感兴趣的人脸动作单元分配更高的学习权重；剪裁学习模块在检测到的目标周围裁剪面部区域，并设计卷积层来学习每个面部区域的更深层次特征。最后为每一个检测到的面部区域预测一个人脸动作值，并通过简单组合得到情绪变化。其存在问题是：虽然采用了注意力机制在面部中学习感兴趣的区域，但是每个区域单独学习，没有关注不同人脸动作之间的关联；一般通过简单组合人脸动作得到情绪变化结论，若人脸动作预测错误，则会直接导致情绪结论错误，鲁棒性差。

发明内容

为了解决现有技术中存在的上述问题，本发明提供一种基于面部动作组合检测的情绪识别方法及装置。

为了实现上述目的，本发明采用以下技术方案。

第一方面，本发明提供一种基于面部动作组合检测的情绪识别方法，包括以下步骤：

获取脸部图像，对所述图像进行特征提取；

将提取的图像特征输入注意力模块，得到每个面部动作在脸部的空间位置及脸部感兴趣区域特征；

基于所述空间位置和感兴趣区域特征，利用transformer自注意力机制获得不同面部动作的关联特征，进而对面部动作进行预测；

通过对所述关联特征进行融合对面部动作的组合进行预测，从而得到情绪变化。

进一步地，利用残差网络ResNet34对输入图像进行特征提取；ResNet34是由5个卷积模块组成，第一个卷积模块由一个7*7的卷积和一个3*3的下采样卷积组成，第二个、第三个、第四个、第五个卷积模块均是由两个3*3的卷积模块组成的残差模块，残差模块的输入x经过两个3*3的卷积后与x相加，再经一个ReLU激活层输出；第五个卷积模块的输出为ResNet34的输出。

进一步地，所述面部动作包括：抬起眉毛内角，抬起眉毛外角，皱眉，上眼睑上升，脸颊提升，眼睑收紧，鼻子皱起，上唇抬起，拉动嘴角，收紧嘴角，嘴角向下，下唇抬起，噘嘴，嘴角拉伸，收紧嘴唇，嘴唇按压，双唇分开，下巴下降，嘴巴张大，闭眼。

更进一步地，获得面部动作在脸部的空间位置及脸部感兴趣区域特征的方法包括：