[发明专利]基于视频的在线人脸表情预检测方法及装置

说明书

本发明涉及一种基于视频的在线人脸表情预检测方法及装置，该方法包括：对表情视频预处理，并抽取LBP纹理特征；从原始视频提取长度不同的视频片断，构建片断与检测值的映射关系；基于多示例学习，获取每个视频片断的函数表示，并将每两个视频片断构建一个约束对；根据每个训练样本的约束对，通过最小化所有片断在当前时刻的损失函数和函数参数与上一时刻的差异，采用拉格朗日乘数法对模型进行优化，从而更新模型，获得各个时刻的线性表情预检测函数。对于测试样本，将每帧图像特征依次输入预检测器，实时获取每帧图像的检测值，最终根据输出值是否达到预设的阈值判断是否检测到该表情事件。本发明解决了传统表情识别方法不能实现的实时检测问题，并首次提出了在线预检测模型，提高了识别的正确性和及时性。

技术领域

本发明涉及一种人脸表情预检测方法及装置，属于人脸表情识别与事件预检测技术领域。

背景技术

人脸表情识别是计算机视觉、人机交互和模式识别等领域均涉及的一个重要研究方向，受到国内外研究者们的广泛关注。由于基于图像的识别方法包含的表情信息有限，容易受到外界环境和个体差异性等因素的影响，而且随着近年来，计算机技术的快速发展，基于视频的人脸表情识别获得了更多的关注。由于表情的产生和消失都有过程，基于视频的表情识别更能反映一个完整表情的运动过程，包含更多的面部运动和时间信息。但是传统的基于视频的表情识别是一个离线的过程，表情特征提取和识别分类是针对整个完整的表情视频，无法在一个表情视频开始之后、结束之前尽早地检测到该表情事件。如果只采用传统方法进行分析，无法实现真正的实时人机交互。

相对于传统的对整个视频提取特征后进行分类识别的方法，表情预检测需要对不完整的表情片断进行检测，因此在模型训练阶段，需要对训练样本进行扩展，提取不同长度的视频片断，并给这些片断设定一个期望值，使得信息量越大的视频片断对应的函数值越大。视频片断的有效表示会直接影响到预检测的有效性，而传统的表情特征提取方法(Max-Margin Early Event Detectors，MMED)无法充分挖掘片断中的有效信息；此外，视频片断的提取会使训练样本的数量大大增加，在模型训练阶段对计算机内存的消耗会大大增加，增加运行成本。

发明内容

本发明所要解决的技术问题是：针对如何及时有效地检测到视频中的人脸表情这一实际问题，提出了在线人脸表情预检测方法OMEFD(online multi-instance learningfor early facial expression detection)，使得基于视频的人脸表情识别系统更具实用性。

本发明为了解决以上技术问题，所采用的技术方案如下：

本发明提出一种基于视频的在线人脸表情预检测方法，包括：

步骤1)、针对训练样本集，对表情视频预处理，通过面部关键点检测及人脸对齐方法，分割出人脸面部区域，并使整个视频中的脸部图像像素位置一致；

步骤2)、提取每个样本视频中每帧图像的面部表情特征；

步骤3)、将训练样本进行扩展，提取多个长度不同的视频片断构造约束对，并进行排序，使得信息量越大的片断对应的函数值越大；

步骤4)、将每个视频的约束对作为模型当前时刻的训练数据，通过最小化所有片断在当前时刻的损失函数和函数参数与上一时刻的差异，采用拉格朗日乘数法对模型进行优化，从而更新模型，获得各个时刻的线性表情预检测函数；

步骤5)、针对测试样本，依次采用步骤1)至步骤2)处理，然后根据预检测函数，逐帧读取数据，输出每帧图像对应的检测值，最终根据预设的阈值实现表情预检测。

进一步，本发明所提出的方法，步骤1)中的面部关键点提取，是基于深度卷积神经网络的人脸检测方法，提取复杂背景图像中人脸面部区域的5个关键点位置：两个眼睛中心点，鼻尖点和嘴角两个点。