[发明专利]基于视频的在线人脸表情预检测方法及装置

权利要求书

1.一种基于视频的在线人脸表情预检测方法，其特征在于，包括：

步骤1)、针对训练样本集，对表情视频预处理，通过面部关键点检测及人脸对齐方法，分割出人脸面部区域，并使整个视频中的脸部图像像素位置一致；

步骤2)、提取每个样本视频中每帧图像的面部表情特征；

步骤3)、将训练样本进行扩展，提取多个长度不同的视频片断构造约束对，并进行排序，使得信息量越大的片断对应的函数值越大；

步骤4)、将每个视频的约束对作为模型当前时刻的训练数据，通过最小化所有片断在当前时刻的损失函数和函数参数与上一时刻的差异，采用拉格朗日乘数法对模型进行优化，从而更新模型，获得各个时刻的线性表情预检测函数；

步骤5)、针对测试样本，依次采用步骤1)至步骤2)处理，然后根据预检测函数，逐帧读取数据，输出每帧图像对应的检测值，最终根据预设的阈值实现表情预检测。

2.根据权利要求1所述的方法，其特征在于，步骤1)中的面部关键点提取，是基于深度卷积神经网络的人脸检测方法，提取复杂背景图像中人脸面部区域的5个关键点位置：两个眼睛中心点，鼻尖点和嘴角两个点。

3.根据权利要求1所述的方法，其特征在于，步骤1)中的人脸对齐方法，是采用三对点法将训练样本和测试样本集中的人脸图像序列进行人脸关键点对齐；所述三对点法是指：固定两个眼睛中心点和鼻尖点这三个点的坐标位置，求取相应的仿射变换，通过变换将这三个关键点对齐到标准模板的坐标位置。

4.根据权利要求1所述的方法，其特征在于，步骤2)所述面部表情特征，包括LBP纹理特征和SIFT特征。

5.根据权利要求1所述的方法，其特征在于，步骤3)具体包括：

步骤3.1、生成训练数据：

对原始的训练样本进行扩展，从原始表情视频中提取多个不同长度的视频片断，每个视频片断对应一个检测期望值，用两个不同期望值的片断构建成一个约束对，将约束对的函数表示作为模型训练的训练数据；

步骤3.2、基于多示例学习的视频片断表示：

将每个视频片断看作一个包，包中的一个示例表示该片断的一个子集；示例的特征表示用首尾帧图像对应的特征表示相减得到，一个包的函数值是其所有示例的函数值的平均值。

6.根据权利要求1或5任一所述的方法，其特征在于，步骤4)中，在时刻i，在线预检测更新模型如下：

s.t.c1＝Iⁱ∩[1，t]，

其中，{w_i，b_i}代表在时刻i，模型需要求解的参数；γ表示平衡参数；Cⁱ为训练样本Vⁱ中提取出的约束对的个数，每个约束对包含两个包，c1和c2分别表示第c个约束对的两个包；代表模型中损失函数；表示训练样本Vⁱ中抽取的约束对c中的两个视频片断的包，其中表示视频片段中已发生的表情片断占整个视频片断的比例；是一个尺度变量，权衡输入因子的重要性；为模型边界；表示片断包B的检测值由其包含的示例输出值决定，其中f是一个线性函数，定义如下：

其中，表示视频片断V_I的特征向量；对于一个训练集中的视频序列Vⁱ，i＝1，2，...，n，用Iⁱ＝[sⁱ，eⁱ]来表示其标签信息，两个数字sⁱ和eⁱ分别标明在第i个视频中，表情事件在该视频中开始和结束时对应的帧数，n对应所有视频序列的个数，Lⁱ表示视频序列Vⁱ的总长度，即总的帧数；在每个时刻t＝1，2，...Lⁱ，定义已经发生的部分表情用进行表示；在时刻t，表示一个视频从第1帧到第t帧所包含的片断子集：空集表示没有任何事件发生，表示一个视频序列中所有可能的片断集合，对于任意一个片断V_I表示视频序列V中从第s帧到第e帧的片断。