[发明专利]一种基于视频的微表情识别方法、装置及存储介质

权利要求书

1.一种基于视频的微表情识别方法，其特征在于，所述方法包括：

获取包含微表情的目标视频帧数据；

将所述目标视频帧数据输入至训练好的卷积神经网络分类模型，以获取第一特征向量；

将所述目标视频数据输入至训练好的特征提取网络模型，以获取第二特征向量；

将所述第一特征向量和第二特征向量输入至训练好的特征融合分类网络模型进行微表情的识别，获取微表情识别结果。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述目标视频帧数据按照预设步长进行采样，并将采样后的视频帧数据输入至训练好的卷积神经网络分类模型。

3.根据权利要求1所述的方法，其特征在于，所述预设步长N的取值范围为[1,8]。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取标注好表情类别的微表情视频帧样本数据和标注好表情类别的宏表情视频帧样本数据；

按照预设步长对所述微表情视频帧样本数据和宏表情视频帧样本数据进行采样，以获取第一样本数据集；

基于所述第一样本数据集对初始的卷积神经网络分类模型进行训练，并使用表情类别作为标签，使用交叉熵损失函数优化模型，以获取训练好的卷积神经网络分类模型；

其中，所述卷积神经网络分类模型包括：依次连接的输入层、卷积神经网络层、展平层、全连接层和softmax分类层；卷积神经网络层的输出为特征向量；所述卷积神经网络层包括多个3D卷积层。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取标注好表情类别的微表情视频帧样本数据和标注好表情类别的宏表情视频帧样本数据；

对所述微表情视频帧样本数据和宏表情视频帧样本数据进行面部编码系统FACS标注，以获取第二样本数据集；

基于所述第二样本数据集对初始的特征提取网络模型进行训练，以获取训练好的特征提取网络模型；

其中，特征提取网络模型包括：输入层、编码层和Transformer解码层。

6.根据权利要求1所述的方法，其特征在于，所述将所述第一特征向量和第二特征向量输入至训练好的特征融合分类网络模型进行微表情的识别，获取微表情识别结果，包括：

对第二特征向量进行展平和全连接操作，将第二特征向量的特征维度降维至和第一特征向量的特征维度相同，以获取降维后的第二特征向量；

将所述第一特征向量和降维后的第二特征向量进行特征拼接，获取拼接特征；

将所述拼接特征输入至全连接层，再基于softmax分类层进行微表情的分类识别，获取微表情识别结果。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

确定卷积神经网络分类模型和特征提取网络模型所占的权重；

将微表情视频帧样本数据输入至训练好的卷积神经网络分类模型，以获取第三特征向量；

将微表情视频帧样本数据输入至的特征提取网络模型，以获取第四特征向量；

基于所述第三特征和第四特征对初始的特征融合分类网络模型进行训练，以获取训练好的特征融合分类网络模型；

其中，所述特征融合分类网络模型，包括：依次连接的第一输入层、第一特征输出层、特征拼接层、第一全连接层和softmax分类层，以及依次连接的第二输入层、第二特征输出层、展平层和第二全连接层，所述第二全连接层与所述特征拼接层相连接；所述第一特征输出层包括：卷积神经网络分类模型中的卷积神经网络层、展平层和全连接层。

8.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时由处理器执行权利要求1至7中任意一项所述的方法。