[发明专利]基于深度卷积神经网络的人脸微表情动作单元检测方法

说明书

本发明公开一种基于深度卷积神经网络的人脸微表情动作单元检测方法，包括如下步骤：步骤1：设计深度卷积神经网络结构；步骤1.1：标记人脸及其中不同动作单元的矩形形状区域；步骤1.2：设计实现深度卷积神经网络，所述神经网络中包括了卷积层，捷径层及动作单元检测层，以对人脸及其不同表情动作单元区域信息进行学习，获取网络前向传播参数；步骤1.3：将人脸样本数据集中的样本数据作为神经网络输入数据；步骤2：根据步骤1中学习到的网络参数，实现人脸表情动作单元检测；步骤3：根据步骤2中检测到的人脸动作单元进行可视化输出。本发明所述的检测方法依托深层卷积神经网络，检测和识别人脸图像中的动作单元，能够提高检测的准确率和速度。

技术领域

本发明涉及人脸识别以及情感计算技术领域，具体涉及一种基于深度卷积神经网络的人脸微表情动作单元检测方法。

背景技术

人脸微表情是人类内心情感的自然流露，相较于普通的表情，微表情不易被察觉，具有动作幅度小，停留时间短的特性，嘴角向上翘起表达了内心的喜悦；而一侧嘴角的不经意翘起，可能隐藏了内心的轻蔑；上嘴唇被下嘴唇顶起，可能隐藏了些许的不满；而内测眼角及眉毛的压低则可能隐藏着愤怒，这些都是微表情对于情感的自然表达，由于微表情是真实情感的外泄，因此检测和识别微表情对于刑侦、司法、医学、教育、安全等专业领域具有非常重要的意义，同时微表情识别还能够应用于人机交互技术所涉及的各行服务领域，比如自动驾驶、娱乐、购物等。

微表情的自动识别不仅是计算机技术问题，还涉及到生理学及心理学，美国心理学家保罗·艾克曼(Paul·Ekman)将微表情归纳为不同动作单元(Action Unit，AU)的组合，因此对于动作单元的检测是微表情识别的基础，人脸动作单元相较于身体其它部位更加丰富且微妙并难于检测和辨识，保罗·艾克曼根据其多年在心理学及生理学方面的积累提出了面部动作单元系统(Facial Action Unit System,FACS)，人脸不同微表情可分解为一个或多个不同的动作单元，因此对于人脸中不同动作单元的检测结果可实现对于人脸微表情的识别。而利用传统几何形状特征方法进行动作单元的检测准确率非常低，动作单元常常受到人脸嘴鼻眼眉等典型几何结构的影响难于检测。

人脸微表情动作单元刻画了人脸的额、眉、眼、鼻、颊、嘴、颌各个部位的不同动作，并在不同局部区域形成了具有不同几何形状结构的效果，按照区域不同可将动作单元分为上中下三个区，上区主要以额头、眉毛、眼睛的动作为主，中区主要以鼻子和面颊动作为主，下区则以嘴部和下巴动作为主。

有鉴于此，本发明提出一种基于深度卷积神经网络的人脸微表情动作单元检测方法。

发明内容

本发明提供一种基于深度卷积神经网络的人脸微表情动作单元检测方法，本技术方法依托深层卷积神经网络，预测不同动作单元的发生概率及位置信息，检测和识别人脸图像中的动作单元，能够提高检测的准确率和速度。

为达到上述目的，本发明采用以下技术方案：

一种基于深度卷积神经网络的人脸微表情动作单元检测方法，包括如下步骤：

步骤1：设计深度卷积神经网络结构，将人脸样本数据集作为输入，自动标记的微表情动作单元作为输出，对网络结构进行训练，学习出合适的网络参数；

步骤1.1：针对样本数据集里的图像，标记人脸及其中不同动作单元的矩形形状区域；

步骤1.2：设计实现深度卷积神经网络，所述神经网络中包括了卷积层，捷径层及动作单元检测层，以对人脸及其不同表情动作单元区域信息进行学习，获取网络前向传播参数；

步骤1.3：将人脸样本数据集中的样本数据作为神经网络输入数据，所述样本数据包括人脸图像数据和动作单元标记xml数据；