[发明专利]面部动作识别及模型训练的方法、装置、设备和存储介质

说明书

本申请提供了一种面部动作识别及模型训练的方法、装置、设备和存储介质，其中模型训练方法包括：获得多个视频段样本；构建每个视频段样本的至少一个同源正样本对和至少一个同源负样本对；针对多个视频段样本构建至少一个非同源正样本对和至少一个非同源负样本对；基于多个视频段样本中的人脸图像样本，同源正样本对、同源负样本对、非同源正样本对及非同源负样本对，采用自监督学习方法训练面部动作特征模型，得到初始训练出的面部动作特征模型；利用标注有面部动作类别的多个面部图像样本，对该面部动作特征模型和面部动作分类器进行训练，得到包含面部动作识别模型。本申请的方案能够训练出可准确识别人脸面部动作的面部动作识别模型。

技术领域

本申请涉及人脸表情识别技术领域，更具体的说，是涉及一种面部动作识别及模型训练的方法、装置、设备和存储介质。

背景技术

随着计算机技术和人工智能技术的不断发展，人脸表情识别技术的应用领域日益增多。

人脸表情识别技术能够从人脸图像中分析出人脸所具有的表情状态。但是由于情绪本身的主观性以及不同情绪之间的相似性，导致很难精准识别出人脸图像中的人脸表情。为了提升人脸表情识别的准确率，可以结合人脸图像的面部动作来辅助人脸表情识别。

可见，准确识别出人脸图像的面部动作是提升人脸表情识别的关键，因此，如何构建出能够准确识别人脸面部动作的人脸面部动作识别模型是本领域技术人员需要解决的技术问题。

发明内容

鉴于上述问题，本申请提供了面部动作识别及模型训练的方法、装置、设备和存储介质，以构建出能够准确识别人脸面部动作的面部动作识别模型。具体方案如下：

在本申请的第一方面，提供了一种面部动作识别模型的训练方法，包括：

获得多个视频段样本，每个所述视频段样本包括属于同一用户的多个人脸图像样本，且所述多个视频段样本内的人脸图像样本不完全属于同一用户；

针对每个视频段样本，构建所述视频段样本的至少一个同源正样本对和至少一个同源负样本对，所述同源正样本对包括属于同一个视频段样本且表情强度相似的两个人脸图像样本，所述同源负样本对包括属于同一个视频段样本且表情强度差值超过第一强度差值的两个人脸图像样本；

针对所述多个视频段样本构建至少一个非同源正样本对和至少一个非同源负样本对，所述非同源正样本对包括属于不同视频段样本且表情强度相似的两个人脸图像样本，所述非同源负样本对包括属于不同视频段样本且表情强度差值超过第二强度差值的两个人脸图像样本；

基于所述多个视频段样本中的人脸图像样本，所述同源正样本对、同源负样本对、非同源正样本对以及非同源负样本对，采用自监督学习方法训练面部动作特征模型，得到初始训练出的面部动作特征模型；

利用标注有面部动作类别的多个面部图像样本，对所述初始训练出的面部动作特征模型和待训练的面部动作分类器进行训练，得到包含训练出的面部动作特征模型和面部动作分类器的面部动作识别模型。

在一种可能的实现方式中，在所述采用自监督学习方法训练面部动作特征模型之前，还包括：

针对每个视频段样本中每个人脸图像样本，对所述人脸图像样本进行关键点检测，得到所述人脸图像样本中至少一种人脸部位的关键点分布；

针对每个视频段样本，将所述视频段样本中表情强度最低的人脸图像样本确定为所述视频段样本中的人脸模板图像；