[发明专利]人脸表情识别方法、装置、终端及存储介质

权利要求书

1.一种人脸表情识别方法，其特征在于，包括：

获取目标人脸图像，所述目标人脸图像包括多个面部动作单元，所述多个面部动作单元之间的关系满足表情关联规则；

调用深度神经网络从所述目标人脸图像中提取各面部动作单元的第一图像特征；

调用图神经网络按照所述表情关联规则对所述各面部动作单元的第一图像特征进行传播处理，得到所述各面部动作单元的第二图像特征；

根据所述各面部动作单元的第二图像特征识别所述目标人脸图像对应的目标表情。

2.如权利要求1所述的方法，其特征在于，所述多个面部动作单元包括目标面部动作单元，所述目标面部动作单元为所述多个面部动作单元中的任一个面部动作单元；

所述调用深度神经网络从所述目标人脸图像中提取各面部动作单元的第一图像特征，包括：

调用深度神经网络对所述目标人脸图像进行特征提取得到多组特征图，并对所述多组特征图进行拼接处理得到目标全局特征图；

确定所述目标面部动作单元的中心点，并根据所述目标面部动作单元的中心点对所述目标全局特征图进行裁剪，得到所述目标面部动作单元所对应的局部特征图；

对所述目标面部动作单元所对应的局部特征图进行特征学习，得到所述目标面部动作单元的第一图像特征。

3.如权利要求2所述的方法，其特征在于，所述对所述多组特征图进行拼接处理得到目标全局特征图，包括：

按照预设尺寸对所述多组特征图的图像尺寸进行调整；

将调整后的多组特征图进行拼接处理得到初始全局特征图；

对所述初始全局特征图进行归一化处理得到目标全局特征图。

4.如权利要求2所述的方法，其特征在于，所述目标面部动作单元的中心点包括第一中心点和第二中心点；所述确定所述目标面部动作单元的中心点，包括：

采用骨骼点检测算法检测所述目标全局特征图中的人脸骨骼点；

基于面部动作单元与人脸骨骼点的对应关系，将所述目标面部动作单元所对应的人脸骨骼点作为所述第一中心点；

根据人脸对称性和所述第一中心点确定所述第二中心点，所述第二中心点与所述第一中心点在所述目标全局特征图中相对于人脸正中线相互对称。

5.如权利要求4所述的方法，其特征在于，所述目标面部动作单元所对应的局部特征图包括所述第一中心点的第一局部特征图和所述第二中心点的第二局部特征图；

所述对所述目标面部动作单元所对应的局部特征图进行特征学习，得到所述目标面部动作单元的第一图像特征，包括：

对所述第一局部特征图进行特征学习得到第一局部特征，并对所述第二局部特征图进行特征学习得到第二局部特征；

求取所述第一局部特征和第二局部特征的平均特征作为所述目标面部动作单元的第一图像特征。

6.如权利要求2所述的方法，其特征在于，所述调用图神经网络按照所述表情关联规则对所述各面部动作单元的第一图像特征进行传播处理，得到所述各面部动作单元的第二图像特征，包括：

调用所述图神经网络按照所述表情关联规则对所述目标面部动作单元的第一图像特征进行传播处理，得到所述目标面部动作单元的中间图像特征；

根据所述目标面部动作单元的中间图像特征和所述目标面部动作单元的第一图像特征进行特征映射，得到所述目标面部动作单元的第二图像特征。