[发明专利]一种领域自适应的人脸表情分析方法

说明书

技术领域

本发明属于计算机视觉和情感计算研究领域，具体地说是一种自动人脸表情分析方法。

背景技术

自动人脸表情分析是计算机视觉领域一个由来已久的研究问题。主流自动表情分析的目标是从图像或视频中提取出一系列带有语义级信息的面部动作单元。通常采用FACS手册中的定义。FACS(Facial Action Coding System)是行为心理学家提出的一套研究面部表情的细分标注系统。FACS系统将面部动作分解为一系列的表情动作单元(Action Unit,AU)。每一个动作单元与一个或多个面部肌肉运动相关。

当前大部分的表情分析研究都假定训练(源)数据和测试(目标)数据来自同一个数据分布。在分析时通常采用如下步骤：首先在事先采集好的训练(源)数据集上训练预测模型，再将预测模型应用于测试(目标)数据集。用于训练的视频数据要求带有表情标签，而表情标签通常由受过专业训练的标注者人工标注得到。

目前可用于训练的视频数据基本在实验室受控成像环境下采集得到。而实际应用则要求在真实环境下的图像上测试。真实环境人脸图像中的长相，姿态和光照等因素的变化往往远超出训练数据的范围。此时，训练和测试数据之间的数据领域(domain)差异就不能被忽略。这种差异导致传统算法训练得出的预测模型不能在测试视频上获得与训练集内一致的性能。

为此，本发明提出一种具有领域自适应能力的表情分析方法。该方法假设训练数据与测试数据来自不同的数据领域，并设计相应算法步骤，使得预测模型适应测试数据领域。

发明内容

本发明的目的是解决表情分析中训练与测试数据领域差异阻碍预测精度的问题，从而使得表情分析系统更适合实际应用环境。本发明提出了一种具有领域自适应能力的表情分析方法。着眼于个人移动终端应用环境，我们对每一个受试对象定义一个数据领域。对象数据领域由所有采集自该对象的视频数据组成。本方法首先通过一种构建辅助预测问题的方式来定义对象领域之间的距离。这种距离定义反映了对象领域中几何特征和表观特征之间的相关性。基于对象领域之间距离，我们在源数据集中选取与测试对象数据性质相近的对象，组成训练集。在训练集上，我们采用加权协同训练的方式，将部分测试对象视频数据直接用于模型训练，使得预测模型进一步接近测试数据领域。

与现有技术相比，本发明的优势在于：解决了训练数据与测试数据相隔离的问题，使得表情动作预测模型适应于测试数据。所提出表情分析算法对测试和训练领域差异具有更好的鲁棒性，扩大了表情分析技术的实际应用范围。

附图说明

图1：人脸特征点检测结果示意

图2：参考人脸形状

图3：图像对齐结果示意

图4：算法整体流程图

具体实施方式

本发明是一种具有领域自适应能力的自动人脸表情分析方法。本发明以FACS中定义的人脸面部动作单元(Action Unit，AU)作为表情分析的目标。AU是一组定义在面部肌肉运动上的动作单元。例如AU 12代表嘴角上扬，语义上基本等同于“笑”这个动作。在充分利用两类人脸图像特征之间相关又互补性质的基础上，本发明提出方法可以全自动的分析测试对象视频，给出特定AU在每一帧中出现与否的标签。

利用现有技术，我们可以检测人脸特征点。我们选用SDM(Supervised Descent Machine)技术在人脸视频中的每一帧检测人脸特征点。人脸特征点的检测结果示意见图1。

除了我们关心的表情信息之外，人脸视频中还包含着头部姿态，焦距，拍摄角度和距离的等影响因素。为了消除这些干扰因素对表情分析的影响，我们将人脸表情视频向参考人脸形状对齐。我们预先选定一个固定大小(200X 200像素)的参考人脸形状，如图2中所示。对每一张人脸图像，我们利用Procrustes Analaysis来计算最优的尺度，(平面内)旋转和平移变换，使得人脸图像与参考形状最接近。Procrustes Analaysis是形状分析领域的一种研究手段，可用于形状对齐。我们利用计算得到的最优变换参数，对人脸图像进行纹理映射。这个过程被称为图像对齐，它保证了参与训练和测试的所有人脸图像在统一的尺度上进行比较，并且不受头部姿态(平面内)偏转的影响。对齐后的人脸图像和特征点如图3所示。