[发明专利]基于GPU加速的人脸表情识别及互动方法

权利要求书

1.一种基于GPU加速的人脸表情识别及互动方法，其特征在于：包括以下步骤：

步骤（1）、通过普通摄像头或者视频获得动态人脸表情：

将普通摄像头连接到计算机，并将普通摄像头放置于演奏者脸部正前方，距离人脸50-60厘米，通过摄像头获得包含正面人脸的图像；

步骤（2）、使用基于Haar特征和AdaBoost级联分类器的识别方法对人脸进行检测，提取出离摄像头最近，即占据画面最大的人脸图像：

步骤（3）、通过提取出的人脸图像，使用基于Haar特征及AdaBoost的识别方法，识别出瞳孔、鼻尖位置坐标；

步骤（4）、将人脸分为若干个关键区域：

通过对人脸微表情的分析，将人脸分为若干个区域，其中，以瞳孔位置为中心，向左15像素，向右15像素，向上35像素，向下15像素的区域为眉毛表情区域，用来检测眉毛的细微变化，另外分别还有覆盖眼睛微表情、面颊微表情以及嘴唇微表情的区域；

步骤（5）、对整张人脸实现基于GPU加速的Gabor滤波：

Gabor滤波需要大量分别对Gabor核实部和虚部的卷积操作，Gabor核越大，卷积图像越大，耗时越长，选用21*21像素大小的Gabor核，卷积图像为150*150；针对卷积算法耗时长的特性，使用了基于FFT的方法，将空间域的卷积操作转化为频率域的相乘操作，每次卷积只需要1次FFT变换，1次相乘和1次逆FFT变换，时间复杂度为nlog(n)，可以达到较快的速度，同时使用GPU加速并行处理技术，对FFT变换进行加速，同时将Gabor核的FFT变换结果保存在显存中，减少运算的时间；Gabor滤波之后，每个像素点都拥有40个幅值作为特征；

步骤（6）、对人脸特征点附近的关键区域进行特征提取：

通过将步骤（4）中获得的眉毛表情区域ROI、覆盖眼睛微表情、面颊微表情以及嘴唇微表情的区域，将每一个ROI中的像素点根据从左到右、从上到下的顺序进行排列，再将40个幅值代入，得到ROI的特征；

步骤（7）、如果此时为训练模式，则将提取出的特征根据微表情出现与否打上标签，并通过增量SVM训练的方式生成识别模型：CK、CK+、MMI人脸表情数据库中，包含表情的图片以及制作者手工标记的微表情信息，通过将对应的图像通过步骤（1）至步骤（6），获得对应的特征，通过根据制作者手工标记的微表情信息，以具体微表情作为分类集合微表情区域特征，通过带惩罚的SVM支持向量机进行训练，其中惩罚参数为10，获得微表情识别模型；共对16个表情进行识别，所以生成了16个微表情识别模型；

步骤（8）、如果此时为识别模式，则将提取出的特征投入对应的识别模型中，获得微表情的具体信息：通过步骤（7），可以生成16个微表情识别模型，通过将步骤（6）中生成的特征，投入到算法C-SVM中，可以准确地获得微表情是否出现的信息。

2.根据权利要求1所述的基于GPU加速的人脸表情识别及互动方法，其特征在于：所述的步骤（2）中使用基于Haar特征和AdaBoost级联分类器的识别方法对人脸进行检测，提取出离摄像头最近，即占据画面最大的人脸图像，其步骤是：

（2.1）、在步骤（1）获得的图像基础上，使用OpenCV自带的基于Haar特征和AdaBoost级联分类器方法进行人脸检测，其中scale参数为1.1，minNeighbors参数为3；

（2.2）、将所有检测出来的人脸以人脸大小从大到小进行排序，计算出人脸大小的中位数，并删除比中位数大30%和比中位数小30%的人脸，在剩余的人脸中，选择最大的一个并记录其坐标；

（2.3）、图像预处理：在表情识别中，源图片在大小、光照、位置方面有很多差异，而理想输入是纯表情区域，所以需要经过如下步骤的预处理：

（2.3.1）、光照归一化，即直方均衡；

（2.3.2）、几何归一化，即转换至150*150分辨率；

（2.4）、把一个椭圆形的掩膜以人脸的中心覆盖在图像上，长轴长度为图像高度的47%，短轴长度为图像宽度的41.6%，划出纯表情区域，以有效排除掉人脸之外的噪声。