[发明专利]一种基于Gabor和EOH特征的自动微表情识别方法

说明书

技术领域

本发明涉及表情识别和图像识别技术，更具体地，涉及一种自动微表情识别方法。

背景技术

当今全球政治格局动荡不安、恐怖活动多处频发。世界各国的科学家和工程师都在努力寻找与暴力和极端行为有关的行为线索，并尝试开发能对上述行为进行检测的技术或方法。

微表情与人类内在的情感信息加工过程紧密相关，它无法伪造，不受意识控制，反映了人类内心的真实情感与意图。从而，微表情成为了能够进行谎言与危险意图检测的有效线索。美国国防部、中情局、本土安全局、安全管理检查署等甚至已经开始接受Ekman的训练课程，利用微表情进行反恐工作。

然而，人们对微表情本质的认识、对微表情的实际应用都还十分有限。这主要是由于作为微表情研究基础的微表情表达的研究才刚刚起步。由于微表情的持续时间非常短，没有受过训练的观察者很难正确识别微表情。虽然研究者推出了微表情训练工具，但Frank、Herbasz、Sinuk、Keller和Nolan的研究发现，即使接受了微表情训练工具(METT)训练，被试识别现实中的微表情的成绩依然很差(准确率只有40％左右)。目前，微表情研究者和相关实践工作者若想对微表情进行准确识别，就必须借助于面部行为编码系统FACS对可能包含微表情的视频进行逐帧编码。但是，不仅FACS编码的训练比较费时，编码者一般需要接受100小时的训练才能达到初步熟练的程度；而且使用FACS进行编码也很费时，编码10分钟的视频至少需要10个小时。

在Porter等人的研究中，仅使用低速摄像机(30帧/秒)对被试的面部表情进行短时间记录，研究中需要分析的视频即高达30万帧。而这样的情况下由于捕捉到的微表情的数量太少，对微表情的表达仅能进行描述统计而无法使用推断统计的方法来进行数据分析。若考虑使用高速摄像机，以满足统计分析的需求，则需要手工编码的视频帧数将增长数倍。若考虑长时间记录面部表情(例如在审讯情境下)，则需要手工编码的视频数量将更加快速的增长。过于缓慢的编码速度和海量需要人工处理的视频数据，使得微表情的编码成为了费时费力的艰巨工作，使得相关研究和实践都很难进行下去，这是目前微表情研究与微表情应用工作中面临的最大障碍。因此，无论是微表情研究，还是微表情的应用，对于自动化的微表情分析工具，都具有非常大的需求。发展自动化的微表情分析工具，是目前微表情研究者们的第一要务。

将计算机视觉(Computer Vision)的技术与方法与心理学的相关研究成果相结合，是有可能开发出自动化的微表情识别系统的。实际上，目前，已经有来自美国和日本的两个独立的研究小组在该问题上进行了探索。

Polikovsky，Kameda和Ohta于2009年提出了一种利用3D梯度方向直方图(3D gradients orientation histogram)提取面部运动信息的方法。他们将人脸划分成12个兴趣区(ROI)，并通过对视频中相应区域进行追踪来完成提取相应区域的3D梯度方向直方图表征。除此外，他们还收集了一个‘微表情数据库’。他们要求被试以尽可能低的表情强度、尽可能快的速度来做出面部表情，并对被试做出面部表情的过程用高速摄像机进行摄像。K均值聚类(K-means)的结果表明，在该数据库上，3D梯度方向直方图可以有效表征不同面部区域的处在不同相位(phase)的面部表情动作单元(action unit)。

Shreve等于2009到2011年间提出了一种新的表情视频分割方法。他们利用光流(optical flow)来计算光学应力(optical strain)。然后，他们将面部划分成8个兴趣区域，并将眼睛、鼻子和嘴部的图像以一个T型标记予以去除。他们通过将在各个兴趣区域计算得到的光学应力与训练得到的某一阈值进行比较，实现了对宏观表情(即普通表情)和微表情视频的分割。