[发明专利]一种基于特征级上下文信息感知的面部情感识别方法

权利要求书

1.一种基于特征级上下文信息感知的面部情感识别方法，其特征在于，具体步骤如下：

步骤1、采集图像，确定训练样本集和测试样本集；

步骤2、提取训练样本集中每个训练样本的人脸区域并统一尺寸，得到训练人脸图像集；

步骤3、分别采集训练人脸图像集中每个人脸图像的面部特征点，筛选出情感相关部位特征点，确定面部情感区域；

面部情感区域定义为：在训练人脸图像集中的每个人脸图像上选取n个特征点，定义每一特征点为一个中心像素点，在每个中心像素点邻域选取N×N大小的区域，将每个人脸图像上的n个N×N大小区域定义为人脸图像的面部情感区域；

步骤4、提取所有面部情感区域的多尺度统一圆形局部二值模式MU-CLBP特征值，完成情感特征的表达；

面部情感区域的MU-CLBP特征提取过程具体为：

步骤4.1、针对面部情感区域的每个中心像素点均选取m组不同尺度参数，提取不同尺度参数下每个中心像素点对应的U-CLBP特征值；

中心像素点对应的U-CLBP特征提取步骤为：

步骤4.1.1、定义中心像素点为(x,y)，其像素值为g(x,y)，尺度参数为(R,P)，计算该尺度参数(R,P)下中心像素点(x,y)周围的邻域采样点(x_j,y_j)的位置，得到邻域采样点(x_j,y_j)的像素值f(x_j,y_j)；

其中，邻域采样点(x_j,y_j)的位置计算公式如下；

式(1)中，R为邻域采样点的采样半径，P为总的邻域采样点个数，P不小于1，(x_j,y_j)为中心像素点周围任意一个邻域采样点j的位置，1≤j≤P，f(x_j,y_j)为采样点j的像素值；

步骤4.1.2、由步骤4.1.1得到P个邻域采样点的像素值，将中心像素点像素值g(x,y)作为阈值，对中心像素点的P个邻域采样点进行判别，得到P位0/1二进制值，具体判别方式如下：

式(2)中，(x_j,y_j)为中心像素点周围任意一个邻域采样点j的位置，1≤j≤P，f(x_j,y_j)为采样点j的像素值；

步骤4.1.3、将步骤4.1.2中判别后得到的P位0/1二进制值按顺时针顺序拼接，得到该中心像素点(x,y)的长度为P的二进制码，定义为C_p；

步骤4.1.4、采用“统一模式”方式对二进制码C_p进行转换，得到中心像素点(x,y)对应的U-CLBP特征值，计算公式如下：

式(3)中，P为总的邻域采样点个数，U(C_p)表示二进制码C_p中0/1跳变次数；

步骤4.2、将面部情感区域中相同尺度参数下的所有U-CLBP特征进行拼接，得到m个尺度参数的U-CLBP特征值；

步骤4.3、绘制每个尺度参数的U-CLBP特征值的直方图，最终将m个U-CLBP特征值的直方图级联形成MU-CLBP特征值，即面部情感区域的MU-CLBP特征值；

步骤5、将步骤4中提取的MU-CLBP特征值送入SVR训练，获得SVR情感模型；

步骤6、按照步骤2-4的具体步骤获取测试样本集中所有测试样本MU-CLBP特征值，并将测试样本MU-CLBP特征值送入步骤5中得到的SVR情感模型，得到连续维度的arousal和valence预测值。

2.根据权利要求1所述的一种基于特征级上下文信息感知的面部情感识别方法，其特征在于，所述步骤2中人脸区域提取采用Viola-Jones人脸检测算法。

3.根据权利要求1所述的一种基于特征级上下文信息感知的面部情感识别方法，其特征在于，所述步骤3中采集人脸图像的面部特征点时采用基于回归树集合的人脸特征点检测算法。