[发明专利]一种微表情识别方法

说明书

本发明提出了一种微表情识别算法，包括：获取微表情序列，由微表情序列计算得到光流序列，并由光流序列计算得到光应变序列；微表情序列、光流序列和光应变序列分别经卷积神经网络处理得到第一特征向量、第二特征向量和第三特征向量；将第一特征向量、第二特征向量以及第三特征向量连接后输入循环神经网络，并经过全连接层处理后得到微表情的分类权重向量；基于分类权重向量对微表情进行识别。根据本发明的微表情识别算法，将光流序列和光应变序列作为补充信息加入到识别算法中，并分别采用三条卷积神经网络对微表情序列、光流序列和光应变序列进行处理。而且在算法中融合了三种注意力机制，有效提高了微表情识别算法的精确性和可靠性。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种微表情识别方法。

背景技术

微表情是人类自发的、难以控制的一种传递情绪的方式。除了我们日常见到的普通的宏表情，在某些特定的场合中，微表情也传达着人类的各种情绪，并且简短、不易察觉、不易掩饰。人可以通过对于情感的控制来掩盖内心真实想法，但是微表情不可能通过控制来掩盖情感。因此微表情可以被参考用来判断人们内心真实想法。基于这一特点，微表情研究在智能医疗、公共安全、司法刑侦等领域有广泛的应用价值。人的脸部是传输信息的媒介，脸部的表情可以表达人类的情绪，所以面部表情在人们日常生活中扮演着非常重要测角色。

通常在日常生活中，我们所指的面部表情是“宏表情”，其容易被察觉且持续时间一般为0.5～4s之间。在表达人类感情时，“宏表情”通常能够掩饰真实情感的流露。而与“宏表情”相对的“微表情”，不容易被注意且持续时间约为 1/25～1/5s。由于微表情有不受控制，持续时间短且活动幅度小的特点，所以它可以泄露性地表达了人们压抑或试图隐藏的真实情绪。

因此，积极研究人类微表情的识别问题，可以有效的提高社会对具有潜在威胁社会安全事件和人的预警能力，也可广泛地应用于司法科学、心理学等方面。

由于微表情的自发性和特定环境下的激发性，人类微表情的数据集十分有限并且很多都不具有良好的属性，这在一定程度上限制了微表情方法的效率。近几年来，随着深度学习被广泛地应用于各个领域并取得了较为显著的成果，我们希望基于深度学习的网络结构来提高微表情识别方法的效率和准确率。但是，由于深度学习的网络需要很多不同的数据集来使得深层的网络具有良好的分类和识别属性，而微表情数据库的缺乏会导致网络存在过拟合问题，从而导致微表情识别方法准确率较低。

发明内容

本发明要解决的技术问题是如何准确、可靠地识别微表情，提供一种微表情识别方法。

根据本发明实施例的微表情识别方法，包括：

获取微表情序列，由所述微表情序列计算得到光流序列，并由所述光流序列计算得到光应变序列；

所述微表情序列经卷积神经网络处理得到第一特征向量；

所述光流序列经卷积神经网络处理得到第二特征向量；

所述光应变序列经卷积神经网络处理得到第三特征向量；

将所述第一特征向量、所述第二特征向量以及所述第三特征向量连接后输入循环神经网络，并经过全连接层处理后得到微表情的分类权重向量；

基于所述分类权重向量对所述微表情进行识别。

根据本发明实施例的微表情识别方法，将基于微表情序列计算得到的光流序列和光应变序列作为补充信息加入到识别方法中，并分别采用三条卷积神经网络对微表情序列、光流序列和光应变序列进行处理。由于微表情的主要特征在于对表情运动变化的分析，在输入中加入微表情序列的光流方向和光应变信息可以有效增加可用信息的维度和深度，使得特征学习的网络结构可以分别学习到带有微表情的人脸的脸部特征和表情动作变化特征。从而有效提高了微表情识别方法的精确度和可靠性。

根据本发明的一些实施例，所述微表情序列经卷积神经网络处理得到第一特征向量，包括：