[发明专利]一种姿态鲁棒的视频笑脸识别方法

权利要求书

1.一种姿态鲁棒的视频笑脸识别方法，其特征在于，包括以下步骤：

S1、通过摄像头实时采集自然场景的视频图像，提取视频图像中的图像帧，通过人脸检测算法对其中的人脸进行检测，如果存在人脸，则通过矩形框对人脸的位置进行标识；

S2、对定位到的人脸矩形框执行人脸表情关键点定位算法，对人脸表情特征点进行定位，包括人脸上的眼睛、鼻子、嘴巴及脸颊；

S3、提取定位到的人脸表情特征点的位置信息，并对提取到的位置信息进行归一化处理；

S4、将提取到的人脸表情特征点与在线训练的微笑表情特征点模板参数进行匹配，如果匹配的结果误差在给定的阈值内，则输出识别的微笑表情；

S5、如果当前图像帧中识别出了微笑表情，则将该微笑表情对应的人脸表情特征点参数和位置信息存储为微笑状态位置；当后续图像帧读取后，进行微笑表情参数匹配，实现对后续图像帧的微笑表情参数识别；具体方法为：

S51、存储当前的表情参数以及对应的原始图像中的人脸表情特征点位置信息；

S52、以人脸表情特征点的所有X坐标点中的最小、最大值分别标识人脸表情特征点的左右边界，以人脸表情特征点的所有Y坐标点中的最小、最大值分别标识人脸表情特征点的上下边界，以标识的边界区域向四周扩展指定比例的像素构成新的人脸表情特征点位置预估区域；

S53、在后续图像帧中，在此表情预估位置区域内，运行表情参数匹配算法，检测后续图像帧中的表情；

S6、将当前图像帧的微笑识别结果以连续参数变量进行输出，并以0和1分别表示平静表情和微笑表情，(0，1)区间内的参数表示表情的中间过度状态参数。

2.根据权利要求1所述的姿态鲁棒的视频笑脸识别方法，其特征在于，步骤S1的方法具体为：

S11、提取视频图像中的图像帧，将图像帧按照金字塔分解算法进行分解，并在每一级分解图像中迭代运行人脸检测，对检测到的人脸进行标识，输出人脸区域的矩形框；

S12、当图像帧中检测到人脸，将标识的人脸区域矩形框进行存储，作为后续图像帧的人脸位置的预估位置。

3.根据权利要求1所述的姿态鲁棒的视频笑脸识别方法，其特征在于，步骤S2的具体方法为：

S21、根据检测出的人脸区域矩形框，分别向上下左右区域扩展设定比例的像素，并将扩展的矩形区域作为人脸表情特征点的检测图像；

S22、在扩展的图像区域内，运行人脸表情关键点定位算法，对人脸表情特征点进行定位，包括人脸上的眼睛、鼻子、嘴巴及脸颊。

4.根据权利要求1所述的姿态鲁棒的视频笑脸识别方法，其特征在于，步骤S3的具体方法为：

S31、对人脸表情特征点进行对齐处理并存储；

S32、以对齐的人脸表情特征点的边界点坐标作为表情区域的轮廓点，将其归一化到模板尺度上；

S33、计算归一化后的人脸表情特征点的坐标，并将其更新为待识别的表情参数。

5.根据权利要求1所述的姿态鲁棒的视频笑脸识别方法，其特征在于，步骤S4的具体方法为：

S41、提取在线训练的微笑表情特征点模板参数，并将其存入表情特征序列；

S42、对微笑表情特征点模板参数进行归一化处理，使其与当前的人脸表情特征点的坐标处在同一参数范围内；

S43、使用表情参数匹配算法将输入的表情参数与模板参数进行匹配，计算匹配结果数据；

S44、将匹配的参数与设定的表情阈值进行对比，确定当前的表情数据。

6.根据权利要求1所述的姿态鲁棒的视频笑脸识别方法，其特征在于，步骤S6的具体方法为：

S61、将当前帧中的表情关键点位置与模板中的人脸表情特征点位置进行匹配，并计算匹配结果；

S62、匹配的结果中，0表示表情平静，1表示微笑表情，0-1表示表情的中间过度状态参数；

S63、输出匹配的最终表情识别结果。