[发明专利]一种基于动态人脸表情序列和K阶情感强度模型的特征表示方法

说明书

技术领域

本发明涉及一种特征表示方法，属于图像处理领域，具体地说是一种基于动态人脸表情序列和K阶情感强度模型的特征表示方法。

背景技术

人脸表情识别是情感计算与先进智能的重要组成部分，同时也是人机交互、机器学习、智能控制和图像处理等领域的一个研究热点。为了促进更自然、更人性化的人机交互，对表情识别的深入研究变得更为重要。其中对于动态的人脸表情序列的研究更为受到关注，因为人脸表情是一个具有开始，高潮到结束的完整过程，因此对动态序列图像进行表情识别可以更有效地反映人脸表情过程的本质，易于消除各种干扰因素的影响，在进行非特定人表情识别时也能够得到更好的结果，并且动态序列表情图像包含更多的信息，所以动态表情识别的应用更为广泛，也更有实际意义。动态表情序列包含了从中性表情开始到表情最夸张的状态的这一过程。近些年来，动态人脸表情识别仍存在一些问题。特别是如何提取出实时性高、鲁棒性强以及稳定具有代表性的表情特征。

目前动态人脸表情特征提取方法主要可以分为以下几类：

光流法，光流指的是空间运动物体在观测成像面上像素运动的瞬时速度。对于光流的研究，是利用时域变化来确定各个像素的位置和运动，可以得出动态序列中不同帧之间同一物体的灰度变化。表情是通过人的五官(特别是眼睛、眉毛、嘴巴等)特征的变化体现出来的，是一个动态的过程，可以通过计算动态序列中表情特征点的光流，将人脸形状变化和人脸运动趋势表示出来。因此在动态表情识别中有很多的应用。该方法的缺点是容易受到光照不均、噪声、物体遮挡等因素的影响，精度不高同时计算量很大。

表情特征点跟踪法，该方法是将人脸特征点的位置变化组成特征向量来识别人脸表情。特征点的位置要选择能够随着表情的变化有大幅度变化的地方，比如对五官轮廓的角点进行跟踪，可以得到人脸特征的位移或形变信息。这种方法所选取的特征点只提取人脸的器官特征，从而去除掉背景、光线等多余的信息，计算量有所减小，运算速度快，可实时运行。其缺点是忽略了特征点以外的其他细节信息，可能会丢失一些有用的信息，而且很难准确的自动标记特征点，需要人为或者半自动标记特征点。

基于模型的方法，模型有主动形状模型(Active Shape Model，ASM)和主动外观模型(Active Appearance Model，AAM)，其中AAM是用统计模型的方式描述人脸的结构，是由Tim Cootes首先提出的。AAM方法是ASM的改进.ASM只能反映图像的局部信息。AAM反应的是图像的全局信息。AAM的优点是将人脸形状和纹理等信息进行统计建模，这样建立起的模型可以模拟大多数可能的对象，具有普遍性，这种方法有在表情特征提取时，有很高的效率。AAM的缺点是建模过程比较复杂，获取初始图像有困难，必要时还需手工标注，而且受图像的光照和背景的影响比较大。

差分图像法，在人脸表情识别中，对两幅图像进行差分运算就可以得到表情的变化。在背景不变的条件下，将表情序列中自第二帧起的每一帧和第一帧表情帧进行差分运算，就能得到新的序列，其中包含人脸表情丰富的关键特征。该方法保留了主要表情信息的同时，消除了光照、肤色等其他因素的影响，接近应用实际，简单直观，运算量少，便于实现实时处理。该方法的缺点是需要表情图像之间是严格对齐的，否则就无法真实反映表情的变化。

发明内容

本发明为避免上述现有技术存在的不足之处，提供一种基于动态人脸表情序列和K阶情感强度模型的特征表示方法，能有效降低特征维数和计算复杂度，提高特征提取的实时性。

本发明为解决技术问题采取如下技术方案：

本发明一种基于动态人脸表情序列和K阶情感强度模型的特征表示方法的特点是按如下步骤进行：

步骤a、随机选取T个对象的动态人脸表情序列集合S＝{S₁,S₂,…,S_t,…,S_T}，1≤t≤T；S_t表示第t个对象的动态人脸表情序列；令所述动态人脸表情序列集合S中所有对象的动态人脸表情序列所包含的总帧数Q＝N₁+N₂+…+N_t+…+N_T；N_t表示第t个对象的动态人脸表情序列所包含的帧数；