[发明专利]面部表情的识别方法和装置、存储介质、电子装置

权利要求书

1.一种面部表情的识别方法，其特征在于，包括：

利用目标神经网络模型从第一图像中识别出第一表情类型，其中，所述目标神经网络模型用于根据所述第一图像中像素点的颜色提取用于表示所述第一图像中纹理的第一特征、从所述第一图像中提取面部关键点的第二特征以及利用所述第一特征和所述第二特征确定所述第一图像中对象面部的所述第一表情类型，其中，所述面部关键点用于表示对象面部的组成部分和/或面部轮廓；

其中，利用目标神经网络模型从所述第一图像中识别出第一表情类型包括：在所述目标神经网络模型的图神经网络中，根据第一面部图确定第二面部图，其中，所述第一面部图包括表示所述面部关键点的节点、位于节点之间的表示所述面部关键点之间存在关联关系的边以及边的关联权重，所述第二面部图为在所述第一面部图中增加节点对应的所述面部关键点在所述第一图像中的位置之后得到的，其中，存在关联关系的关键点为在同一表情下能够产生联动的点，所述关联权重用于表示两个关键点之间的关联程度；对所述第二面部图进行特征提取得到所述第二特征；

在利用目标神经网络模型从第一图像中识别出第一表情类型之后，向目标终端返回识别出的所述第一表情类型，获取所述目标终端的反馈信息，其中，所述反馈信息用于指示识别出的所述第一表情类型是否正确；

在所述反馈信息指示识别出的所述第一表情类型不正确的情况下，使用与所述第一图像具备相同的图像特征的第四图像对所述目标神经网络模型进行训练。

2.根据权利要求1所述的方法，其特征在于，利用目标神经网络模型从所述第一图像中识别出第一表情类型还包括：

在所述目标神经网络模型的分类网络中，从多个表情类型中识别出与所述第一特征和所述第二特征对应的所述第一表情类型。

3.根据权利要求2所述的方法，其特征在于，利用所述第一图像中像素点的颜色提取用于表示所述第一图像中纹理的所述第一特征包括：

将所述第一图像中像素点的颜色编码作为卷积神经网络的输入，其中，所述卷积神经网络用于对所述第一图像中像素点的颜色编码执行卷积操作，得到所述第一特征；

获取所述卷积神经网络输出的所述第一特征。

4.根据权利要求3所述的方法，其特征在于，将所述第一图像中像素点的颜色编码作为所述卷积神经网络的输入包括：

在所述第一图像中的参考点在所述第一图像中的位置与图片模板中的参考点在所述图片模板中的位置不同的情况下，执行对所述第一图像的裁剪操作和/或缩放操作，得到第二图像，其中，所述第二图像中的参考点在所述第二图像中的位置与所述图片模板中的参考点在所述图片模板中的位置相同；

将所述第二图像中像素点的颜色编码作为所述卷积神经网络的输入。

5.根据权利要求1所述的方法，其特征在于，在根据第一面部图确定第二面部图之前，所述方法包括：

利用多张第三图像确定所述面部关键点、所述关键点之间的关联关系以及所述关键点之间的关联权重，其中，所述第三图像为标识有表情类型的图像；

以所述面部关键点为节点、连接位于节点之间的用于表示所述面部关键点之间存在关联关系的边，并将存在关联关系的所述关键点之间的关联权重作为边的权重，得到所述第一面部图。