[发明专利]面部动作识别及模型训练的方法、装置、设备和存储介质

权利要求书

1.一种面部动作识别模型的训练方法，其特征在于，包括：

获得多个视频段样本，每个所述视频段样本包括属于同一用户的多个人脸图像样本，且所述多个视频段样本内的人脸图像样本不完全属于同一用户；

针对每个视频段样本，构建所述视频段样本的至少一个同源正样本对和至少一个同源负样本对，所述同源正样本对包括属于同一个视频段样本且表情强度相似的两个人脸图像样本，所述同源负样本对包括属于同一个视频段样本且表情强度差值超过第一强度差值的两个人脸图像样本；

针对所述多个视频段样本构建至少一个非同源正样本对和至少一个非同源负样本对，所述非同源正样本对包括属于不同视频段样本且表情强度相似的两个人脸图像样本，所述非同源负样本对包括属于不同视频段样本且表情强度差值超过第二强度差值的两个人脸图像样本；

基于所述多个视频段样本中的人脸图像样本，所述同源正样本对、同源负样本对、非同源正样本对以及非同源负样本对，采用自监督学习方法训练面部动作特征模型，得到初始训练出的面部动作特征模型；

利用标注有面部动作类别的多个面部图像样本，对所述初始训练出的面部动作特征模型和待训练的面部动作分类器进行训练，得到包含训练出的面部动作特征模型和面部动作分类器的面部动作识别模型。

2.根据权利要求1所述的方法，其特征在于，在所述采用自监督学习方法训练面部动作特征模型之前，还包括：

针对每个视频段样本中每个人脸图像样本，对所述人脸图像样本进行关键点检测，得到所述人脸图像样本中至少一种人脸部位的关键点分布；

针对每个视频段样本，将所述视频段样本中表情强度最低的人脸图像样本确定为所述视频段样本中的人脸模板图像；

针对每个视频段样本中每个人脸部位，基于所述视频段样本中各人脸图像样本中所述人脸部位的关键点分布，构建所述视频段样本中针对所述人脸部位的至少一个局部正样本对和至少一个局部负样本对，其中，所述局部正样本对包括：所述视频段样本中的人脸模板图像，以及，所述视频段样本中所述人脸部位的关键点分布与所述人脸模板图像的关键点分布相似的一个人脸图像样本；所述局部负样本对包括：所述视频段样本中的人脸模板图像，以及，所述视频段样本中所述人脸部位的关键点分布与所述人脸模板图像的关键点分布差距较大的至少一个人脸图像样本中的一个人脸图像样本；

所述基于所述多个视频段样本中的人脸图像样本，所述同源正样本对、同源负样本对、非同源正样本对以及非同源负样本对，采用自监督学习方法训练面部动作特征模型，包括：

基于所述视频段样本中的人脸图像样本，所述同源正样本对、同源负样本对、非同源正样本对、非同源负样本对、所述视频段样本中每个人脸部位对应的局部正样本对和局部负样本对，采用自监督学习方法训练面部动作特征模型。

3.根据权利要求2所述的方法，其特征在于，所述基于所述视频段样本中的人脸图像样本，所述同源正样本对、同源负样本对、非同源正样本对、非同源负样本对、所述视频段样本中每个人脸部位对应的局部正样本对和局部负样本对，采用自监督学习方法训练面部动作特征模型，包括：

基于所述视频段样本中的人脸图像样本，设定的同源人脸整体损失函数、非同源人脸整体损失函数以及不同种人脸部位对应的人脸局部损失函数，采用自监督学习方法对面部动作特征模型进行多损失函数联合训练；

其中，所述同源人脸整体损失函数为适用于同源正样本对和同源负样本对的损失函数；

所述非同源人脸整体损失函数为适用于非同源正样本对和非同源负样本对的损失函数；

每个人脸部位的人脸局部损失函数为适用于所述人脸部位对应的局部正样本对和局部负样本对的损失函数。