[发明专利]一种基于视频的微表情识别方法、装置及存储介质

说明书

本发明公开了一种基于视频的微表情识别方法、装置及存储介质，可以获取包含微表情的目标视频帧数据；将所述目标视频帧数据输入至训练好的卷积神经网络分类模型，以获取第一特征向量；将所述目标视频数据输入至训练好的特征提取网络模型，以获取第二特征向量；将所述第一特征向量和第二特征向量输入至训练好的特征融合分类网络模型进行微表情的识别，获取微表情识别结果。本发明采用CNN与Transformer模型结合的方式，兼顾了空间语义和时域语义信息，为了兼顾效率，对偏向提取空间语义信息能力的CNN模型采用高分辨，低帧率的数据输入，对于Transformer模型采用低分辨率，高帧率的数据输入，基于本发明可以高效准确地进行微表情识别，且能够应用于不同的应用场景。

技术领域

本发明涉及信息处理技术领域，并且更具体地，涉及一种基于视频的微表情识别方法、装置及存储介质。

背景技术

随着互联网技术的不断发展，金融产品也开始提供线上销售的渠道，以便于人们进行购买。在销售过程中，可以对录制的销售过程视频使用微表情识别技术，分析客户在视频中企图抑制的真实情绪，实现对客户的情绪识别以规避销售过程中的风险。

现有的微表情识别算法需要完成特征提取和表情识别两个任务。其中，“特征提取”是指在一段经过合适的预处理方法的视频图像序列中，通过各种特征提取方式检测并提取其中的微表情，例如，基于光流的特征提取或者基于LBP-TOP算子(即时空局部纹理算子)的特征提取。而“表情识别”实际上是一个分类任务。亦即，将提取获得的微表情分到预先设定的类别中，从而最终确定每个微表情具体对应的含义。例如，高兴、悲伤、惊讶、生气、厌恶、害怕等等。

现有的表情识别方法是通过CNN(卷积神经网络)来实现的。其首先利用训练数据集对构建好的CNN模型进行训练。然后通过训练好的CNN模型进行分类和识别。但是，现有使用CNN进行识别和分类时，CNN无法利用视频图像序列在时域上的相关信息(CNN的特征输入层中，每个特征之间的相互关系没有体现，输入层的神经元是等效的)。亦即，CNN只能对视频图像信息中的单个图像帧进行识别而无法学习到相邻图像帧之间的变化或者关联。而微表情是客户在一段较短时间内，面部局部区域呈现的运动。时域上的相关信息也是识别和区分微表情非常重要的部分。因此，忽略时域上的相关信息会导致CNN对微表情识别性能的下降。

现有公开号为：CN111738160A的专利申请，使用预训练好的权重层，独立提取每帧图片的特征，然后根据相似性分出集合，然后在集合内归一化相似度，根据得到结合权重值的图像特征向量，再输入到卷积神经网络或者直接输入到softmax进行表情分类。这种方法虽然考虑到了时域上的相关信息，但是实际处理时，提取特征的时候都是单帧独立提取的，在特征提取时没有充分的考虑到时域的影响，精度不高。

因此，需要一种基于视频的微表情识别的方法。

发明内容

本发明要解决的问题包括如何高效准确地基于视频帧数据进行微表情的识别。

为了解决上述诸如如何高效准确地基于视频帧数据进行微表情的识别的技术问题，提出了本发明。本发明的实施例提供了一种基于视频的微表情识别方法、装置及存储介质。

根据本发明实施例的另一个方面，提供了一种基于视频的微表情识别方法，所述方法包括：

获取包含微表情的目标视频帧数据；

将所述目标视频帧数据输入至训练好的卷积神经网络分类模型，以获取第一特征向量；

将所述目标视频数据输入至训练好的特征提取网络模型，以获取第二特征向量；

将所述第一特征向量和第二特征向量输入至训练好的特征融合分类网络模型进行微表情的识别，获取微表情识别结果。

可选地，其中所述方法还包括：