[发明专利]一种具有准确注意力的自然遮挡表情识别方法及系统

权利要求书

1.一种具有准确注意力的自然遮挡表情识别方法，其特征是，包括以下步骤：

获取待识别图像，对图像进行预处理；

利用预训练的自然遮挡表情识别网络对预处理后的待识别图像进行处理，得到表情识别结果；

所述自然遮挡表情识别网络的构建及训练过程包括对于已知表情的预处理后的遮挡表情图像，进行人脸关键点检测，在关键点中筛选多个兴趣点，基于各兴趣点生成高斯图，得到对应图像的遮挡指示图；

依据遮挡表情图像的深度特征的神经元激活值计算注意力描述子，通过构建注意力损失来迫使深度特征的注意力描述子接近遮挡指示图，通过构建表情分类损失来迫使深度特征的注意力适应于不同的表情。

2.如权利要求1所述的一种具有准确注意力的自然遮挡表情识别方法，其特征是，所述预处理过程包括利用人脸检测模型检测原始图像的面部标志点，相似性变换后，获得对齐的人脸图像，并调整为指定像素大小。

3.如权利要求1所述的一种具有准确注意力的自然遮挡表情识别方法，其特征是，进行人脸关键点检测的具体过程包括进行面部各个初步关键点检测，获取其坐标及其置信度分数，在初步关键点中选择覆盖眼睛、眉毛、鼻子和嘴巴周围的区域的点，以及覆盖面部脸颊和眼睛与眉毛之间的区域的点，作为最终关键点。

4.如权利要求1所述的一种具有准确注意力的自然遮挡表情识别方法，其特征是，在关键点中筛选多个兴趣点，得到对应图像的遮挡指示图的具体过程包括，设置置信度分数阈值，去除置信度分数小于阈值的关键点，得到兴趣点，生成以各兴趣点坐标为中心的高斯分布图，对于那些被遮挡的点，高斯分布图的值处处为零。

5.如权利要求1所述的一种具有准确注意力的自然遮挡表情识别方法，其特征是，遮挡指示图的生成过程包括：计算各张高斯分布图在同一空间位置上的统计值，得到对于一张输入表情图像的一张遮挡指示图：

其中是指对于输入图像i的第m个兴趣点生成的高斯分布图，M表示兴趣点的数目，|·|指像素级绝对值。

6.如权利要求1所述的一种具有准确注意力的自然遮挡表情识别方法，其特征是，计算注意力描述子的具体过程为：

注意力描述子

其中指对于输入图像x_i的第k层激活的第p个映射，C^k表示深度网络第k层中的特征映射的数目，用|·|指像素级绝对值。

7.如权利要求1所述的一种具有准确注意力的自然遮挡表情识别方法，其特征是，注意力损失函数为：

其中Q_S(x_i)＝vec(A_S(x_i))是基于神经元激活值的注意力描述子的矢量化形式，Q_T(x_i)＝vec(resize(A_T(x_i)))是基于兴趣点的遮挡指示图的矢量化形式，在矢量化之前，首先通过线性插值法将遮挡指示图的大小调整为H×W，以匹配网络提取的注意力描述子的大小；

或，表情分类损失为：

其中，L_E是表情分类损失，是表情预测值，y_i是表情标签值，N是表情类别的数量。