[发明专利]一种微表情发生检测方法及检测系统

说明书

一种微表情发生检测方法，1)刺激诱发微表情之前记录被测试者的常态脑电数据和常态面部视频数据；2)刺激诱发微表情，记录脑电数据和面部视频数据；3)标记时间戳数据，匹配脑电时间数据和面部视频时间数据；4)获得脑电时间数据发生反应的起点时刻T_sm、面部表情变化的起止帧和顶帧；5)判定微表情是否发生。本发明通过时间戳关联脑电信号和面部图像信息，分别对脑电信号和面部视频数据进行处理，再结合处理结果判定是否发生了微表情，判定结果准确率高。

技术领域

本发明涉及脑电信号及面部视频信号处理技术领域，特别是一种检测微表情是否发生的方法。

背景技术

微表情作为一种发生在1/25s～1/2s内短暂的面部表达，被认为是人们压抑时或试图隐藏真实情绪时难以控制的自然情感表达，因此是测谎中的一个非常重要的线索，其重要性和广泛的应用场景受到了越来越广泛的关注。

目前，对微表情的探测主要是通过表情识别的方法，这种方法在一定程度上能够从给定的静态图像或动态视频序列中分离出特定的表情状态，从而确定被识别对象的心理情绪，实现计算机对人脸表情的理解与识别，但该方法检测准确率不高，容易产生误判。随着脑电技术的发展，其展现出的高时间动态分辨率和对大脑活动的高敏感性使得对微表情发生的探测有了更加直接的手段，但仅通过脑电信号进行表情和情绪的检测却受限于检测模态单一，准确率较低。

公告号为CN109344816A，公开了一件名为“一种基于脑电信号实时检测面部动作的方法”，通过时间关联脑电信号和对应的面部动作图片，从而可以提取每一帧图片对应的脑电信号，再通过提取脑电特征信息建立BP神经网络建立面部动作检测模型，达到通过脑电信号对面部三类动作进行识别的目的。其不足在于：1、该专利并未公开通过时间关联脑电信号和面部动作图片的具体方式，处理脑电信号和面部图片识别都具有一定的延迟性，无法解决数据同步的问题；2、通过建立BP神经网络进行面部动作检测需要大量的计算和数据处理，无法处理大量数据；3、该专利的本质还是通过脑电信号对面部图片识别，并非对脑电信号和面部图片进行分别识别再联合判断，其准确性不足。

发明内容

本发明的一个目的就是提供一种微表情发生检测方法，它通过时间戳关联脑电信号和面部图像信息，分别对脑电信号和面部视频数据进行处理，再结合处理结果判定是否发生了微表情，判定结果准确率高。

本发明的该目的是通过这样的技术方案实现的，包括有刺激诱发微表情之前步骤和刺激诱发微表情之后步骤，刺激诱发微表情之前记录被测试者的常态脑电数据和常态面部视频数据，刺激诱发微表情之后包括以下步骤：

1)刺激诱发微表情，记录脑电数据和面部视频数据；

2)为每一段脑电数据和每一帧面部视频数据均标记时间戳数据，匹配生成脑电时间数据和面部视频时间数据；

3)处理脑电数据、脑电时间数据、面部视频数据和面部视频时间数据，获得通过脑电数据和脑电时间数据判断的脑电微表情发生时刻T_sm，获得通过面部视频数据和面部视频时间数据判断的面部表情变化的起止帧和顶帧；

4)根据步骤3)处理后的脑电判定微表情发生时刻T_sm、面部表情变化的起止帧和顶帧，判定微表情是否发生。

进一步，记录被测试者的常态脑电数据、常态面部视频数据，步骤1)中记录脑电数据和面部视频数据的具体方法为：

通过使用Biosemi Active系统从128个电极记录以1024Hz采样率获取、记录常态脑电数据和脑电数据；通过Biosemi Active系统的高速摄像机以每秒80帧的速度获取、记录常态面部视频数据和面部视频数据。

进一步，步骤2)中所述为每一段脑电数据和每一帧面部视频数据均标记时间戳数据的具体方法为：