[发明专利]一种应用于刑侦的微表情与宏表情片段识别方法

权利要求书

1.一种应用于刑侦的微表情与宏表情片段识别方法，所述方法包括：

步骤一，借助专业的仪器设备，对犯罪嫌疑人在讯问过程中的面部表情进行录像，将视频数据输入到客户端；

步骤二，将视频数据通过逐帧扫描的方法，识别出犯罪嫌疑人的脸部，并找出视频数据中的微表情与宏表情片段，再针对这些微表情与宏表情片段具体进行识别；

步骤三，发现视频序列中的宏表情序列；

步骤四，发现视频序列中的微表情序列；

步骤五，针对找到的宏表情片段，使用神经网络对每一个宏表情片段去识别具体属于哪一个宏表情；

步骤六，针对找到的微表情片段，使用神经网络对每一个微表情片段去识别具体属于哪一个微表情；

步骤七，将宏微表情片段组和其分类结果返回到客户端界面，为侦讯人员正确把握嫌犯供述的真伪提供了帮助。

2.根据权利要求1所述的方法，其特征在于，步骤二具体包括：(1)读取视频中每帧的图像，将其按顺序输出；

(2)对视频序列中的每一帧进行去噪处理，并根据人类肤色在色彩空间的区域性特点进行人脸对齐，初步确定嫌疑人人脸的区域；

(3)对每一帧图片以第一帧图片为参照点进行TVL1光流法处理，得到光流法的横向和纵向的光流法图片u,v。

3.根据权利要求1所述的方法，其特征在于，步骤三具体包括：(1)先用CK+数据集来训练macroNet神经网络，网络为二分类，判断输入图片是否属于宏表情；

(2)用训练好的网络来预测视频序列中的每一帧是否属于宏表情，绘制出视频序列的每一帧是否属于宏表情的概率曲线；

(3)然后根据概率曲线来判断曲线中的峰值点，并寻找峰值点对应的起始点和结束点，找到视频序列的宏表情序列，返回宏表情片段。

4.根据权利要求3所述的方法，其特征在于，发现宏表情片段模块分为对宏表情图像进行训练并且预测和通过概率曲线发现宏表情序列两个步骤，具体步骤包括：

(1)对宏表情图像进行训练并且预测是通过训练macroNet神经网络来判断每一帧属于宏表情的概率，macroNet网络根据已有网络进行改进构建，网络采用光流法的横向纵向光流图和当前帧的图像作为输入，分为三通道进行训练，对图像是否属于宏表情进行二分类预测：当前帧的图像通道采用三层卷积层的架构，三层卷积层均采用3*3的filter，步长均为1，卷积核大小依次增大，分别为32、64、128，并且在每两层卷积层之间依次连接归一化层和最大池化层以及dropout层，而光流法的图片由于已经做了光流法的特征处理，所以网络对这两个通道只进行一次卷积操作，然后引入了attention机制和residual模块，可以更好地提取光流法通道中有用的信息；

(2)通过概率曲线发现宏表情序列则是采用峰值检测的方法，通过设定约束条件来寻找概率曲线的峰值点，约束条件为：峰值属于宏表情的概率必须大于0.8，且该片段的宽度在100-4000帧之间，每两个峰值的差距大于150帧，然后再根据寻找到的峰值点确定该段序列的起始点和终止点，最终得到该视频序列的宏表情序列。

5.根据权利要求1所述的方法，其特征在于，步骤四具体包括：(1)先用SAMM longvideo数据集训练ConvLSTM网络，该网络的输入为前k帧图片，来判断当前帧是否属于微表情；

(2)用训练好的网络来预测视频序列中的每一帧是否属于微表情，绘制出视频序列的每一帧是否属于微表情的概率曲线；

(3)然后根据概率曲线来判断曲线中的峰值点，并寻找峰值点对应的起始点和结束点，找到视频序列的微表情序列，返回微表情片段。