[发明专利]基于GPU加速的人脸表情识别及互动方法

说明书

技术领域

本发明涉及计算机数字多媒体、增强现实及体感交互技术领域，特别涉及一种基于普通摄像头的人脸表情检测及互动方法，尤指一种基于GPU加速的人脸表情识别及互动方法。

背景技术

人脸是非语言交流中最具有表现力的通道之一，人脸表情为研究情绪、意图、性格提供了线索。准确高效识别人脸表情的能力可以为很多应用提供支撑，想象空间巨大。

在过去几十年中，很多计算机系统被构建出来，用来理解人类表情或与之互动。大多数系统都将表情识别为一些原型表情（高兴、惊讶、愤怒、悲伤、恐惧、恶心）。在日常生活中，这些原型表情很少出现，而在人脸特征上通过一两个小变化来交流却有很多，比如说紧闭嘴唇表示愤怒，嘴唇倾斜往下表示悲伤。一些单独特征的改变，特别是在眉毛和眼皮区域的变化，更是一种副语言，如抬起眉毛表示着开心。为了获得这些精细的人类情绪和副语言的交流，对人类表情细微变化的自动检测是非常必要的。

面部编码系统（FACS）是使用最广泛的、基于解剖学原理的编码系统，它通过观察面部外观的瞬间轻微变化，将其编码成不同肌肉的运动。使用FACS，研究者可以将任何在解剖学上可行的面部表情，解码成Action Unit。对愉快、悲伤、惊讶、恐惧、愤怒、恶心这六种基本表情，则可以使用AU的组合表示，例如愉快是AU6与AU12的组合。

对人脸表情的识别主要分为对原型表情的识别和对人脸Action Unit的识别，shan使用LBP对表情原型进行了识别分类。Zhao提出了一种基于LBP的动态纹理识别算法，并通过这个算法对原型表情进行了识别分类。Cohn使用Gabor滤波识别笑脸。Sebe使用了PBVD模型通过用户指定的方式获得脸部特征点，然后通过模型形变获得表情特征，使用SVM支持向量机对特征进行分类从而获得原型表情。

对人脸Action Unit进行识别的算法有很多，Lucey使用AAM活动外形模型对人脸的63个特征点进行匹配，通过SVM支持向量机、NN最近邻及LDA对AU进行识别分类。Jiang提出的LPQ-TOP方法是一种基于LBP-TOP和LBQ的改进方法，实现了对9个AU的识别分类，准确率达到了84.6%。Bartlett和Littlewort使用Gabor滤波对表情原型和AU都进行了识别。Littlewort也使用Gabor滤波对人脸图像进行特征提取，并使用SVM进行AU识别分类。

在人脸表情识别的研究中，很多研究者关注识别的准确率，而对效率并不是特别在意，因此，开发一种能够实时进行表情交互的系统是十分必要的，一方面这能够更好地让使用者对交互系统进行评判，另一方面，也能够基于此开展更多的互动研究。

实时表情交互系统是一个可以用于实时识别人脸表情AU的软件工具。系统可以通过摄像头处理实时视频，也可以处理视频文件或者单张图片。通过对16个面部AU的识别，系统既可以响应单个AU，也可以通过组合，对愉快、悲伤、惊讶、愤怒、恶心和恐惧这六种原型表情进行识别，或对交互动作进行定制。所有该系统的输出都在图形界面进行显示，直接输出为文件。通过基于socket的进程间通信手段，实时表情交互系统可以为其他应用提供AU识别功能，有助于基于AU的应用开发。

发明内容

本发明的目的在于提供一种基于GPU加速的人脸表情识别及互动方法，解决了现有技术存在的人脸识别效率低下等问题。基于GPU加速的Gabor滤波识别人脸表情，该方法能够让用户在普通摄像机前，通过表情的变化来与计算机进行交互，在数字家庭、游戏及医学上有着广阔的应用前景。

本发明的上述目的通过以下技术方案实现：

基于GPU加速的人脸表情识别及互动方法，包括以下步骤：

步骤（1）、通过普通摄像头或者视频获得动态人脸表情：

将普通摄像头连接到计算机，并将普通摄像头放置于演奏者脸部正前方，距离人脸50-60厘米，通过摄像头获得包含正面人脸的图像；

步骤（2）、使用基于Haar特征和AdaBoost级联分类器的识别方法对人脸进行检测，提取出离摄像头最近，即占据画面最大的人脸图像：

步骤（3）、通过提取出的人脸图像，使用基于Haar特征及AdaBoost的识别方法，识别出瞳孔、鼻尖等位置坐标。

步骤（4）、将人脸分为若干个关键区域：

通过对人脸微表情的分析，我们将人脸分为若干个区域，其中，以瞳孔位置为中心，向左15像素，向右15像素，向上35像素，向下15像素的区域为眉毛表情区域，用来检测眉毛的细微变化，另外分别还有覆盖眼睛微表情、面颊微表情以及嘴唇微表情的区域；