[发明专利]基于多示例学习的视频人脸表情预检测方法

说明书

本发明公开了一种基于多示例学习的视频人脸表情预检测方法，包括：(1)对训练样本和待测试样本的视频数据进行预处理，提取出视频中每帧图像的人脸面部区域；(2)采用LBP描述子对预处理得到的每帧图像的人脸面部区域进行特征抽取，得到每帧图像的特征向量；(3)根据训练样本的特征向量，基于多示例学习，采用扩展的结构化输出支持向量机，求解表情预检测函数；(4)使用步骤(3)中得到的预检测函数，根据步骤(2)的待测试样本的特征向量，进行人脸表情预检测，得到表情预检测结果。本发明可以实时监测表情，识别率高。

技术领域

本发明涉及表情检测方法，尤其涉及一种基于多示例学习的视频人脸表情预检测方法。

背景技术

表情是人类传播情感信息，辨认对方的态度和内心世界的重要方式，人脸表情识别技术是机器人理解人类感情的基础，为实现高效智能的人机交互与多媒体信息处理等领域的研究提供技术支持。近年来，基于视频的人脸表情识别研究获得了国内外研究者们的广泛关注。2016年，夏季达沃斯论坛展出的由中国科学技术大学研制的中国首台体验交互美女机器人“佳佳”就是人脸表情识别技术的一次精彩亮相，而同场现身的日本东芝公司研发的ChihiraAico更是内置了人脸表情系统，能够表达与人类相似的开心、难过等逼真的面部表情。

传统的人脸表情识别方法流程为：数据预处理，特征提取，特征降维或特征融合，表情识别分类。尽管取得了较好的表情识别率，但是人脸表情的展示有一个过程，如果采用这些传统的识别方法，无法及时地对表情进行识别。本发明主要针对这一实际问题提出了一种表情预检测方法，表情预检测的目标是在一个表情开始之后，结束之前尽早地对判断出该事件，如图1所示。表情识别的及时性在实现实时人机交互中起着至关重要的作用，但目前，表情预检测仍是一个相对较新的，也是更具挑战的一个研究方向，相关研究少之又少。

事件预检测是Hoai等人发表在2012年CVPR(IEEE国际计算机视觉与模式识别会议)的工作首次提出的概念，并提出了边缘最大化预检测算法(Max-Margin Early EventDetectors,MMED)，MMED是最经典的也是应用最广泛的事件预检测模型，在表情预检测中也取得了较好的效果。相较于传统的表情识别方法，表情预检测模型需要对不完整的目标片断进行检测，因而通常对训练样本进行扩展，用提取出的各种长度不同的视频片断训练模型，所以视频片断的特征表示起着至关重要的作用。但是MMED算法在提取视频片断特征时，只用了第一帧和最后一帧的图像信息，使得对整个片断的信息挖掘不够充分，模型缺乏灵活性，降低了识别率。

Hoai等人的工作使得事件预检测相关的研究得到更多的关注，也有一些关于视频表情预检测的算法被相继提出。Lumei等人提出了early AdaBoost算法(“Early facialexpression recognition using early rankboost”)来进行三维的表情识别，但是在测试阶段，表情的预检测需要图像序列的长度，而序列长度只有在读取完整个表情图像序列后才能得到，所以这不能用来实时检测。Schuller等人也作了比较相似的研究(“Avec 2012:the continuous audio/visual emotion challenge”)，在AVEC2012数据集上识别图像各个帧的标签，这就需要在训练阶段给出每个图像序列中各个帧的标签，但在表情预检测中，对于每个图像序列，只有一个标签。这些算法都不能实现真正的实时表情检测。

发明内容

发明目的：本发明针对现有技术存在的问题，提供一种基于多示例学习的视频人脸表情预检测方法MIEFD(multi-instance learning model for early facialexpression detection)，灵活性大，识别率高，可以实现实时表情检测。

技术方案：本发明所述的基于多示例学习的视频人脸表情预检测方法包括：

(1)对训练样本和待测试样本的视频数据进行预处理，提取出视频中每帧图像的人脸面部区域；