[发明专利]光照和头部姿态鲁棒的表情识别方法、设备及存储介质

说明书

本发明公开了一种光照和头部姿态鲁棒的表情识别方法、设备及存储介质，该方法包括：获取待识别的人脸图像并进行预处理；从预处理后的人脸图像中提取出面部区域图像和预设类型的关键点；获取预设区域的纹理和边缘特征向量；获取人物头部姿态偏转方向，根据人物头部姿态偏转方向的不同，采取不同的姿态微调方式进行头部姿态校正；通过双通道卷积神经网络，根据校正后的面部区域图像，对人物表情进行识别；其中，网络的第一维度输入数据为校正后的面部区域图像，第二维度输入数据为预设区域的纹理和边缘特征向量。本发明可解决光照分布不均和头部姿态改变导致的表情识别准确率下降的问题。

技术领域

本发明涉及人工智能技术领域，特别涉及一种光照和头部姿态鲁棒的表情识别方法、设备及存储介质。

背景技术

现今，我国大中小学阶段的教师以及学生均面临着不同程度的教育压力，课堂上的教学效率也因此显得尤为重要。我国普遍的课堂形式为教师参考教学大纲按部就班地授课，有时采取提问、小组讨论等来增加师生和生生间的互动。但是，当教学内容进行到比较枯燥的部分时，大部分学生的听课效率会有所下降，教师若无法及时发现学生们的状态，并对教学进度进行调整，则会对整体的教学效率产生不利影响。

人工智能领域的蓬勃发展，尤其是深度学习技术广泛应用于图像识别、人脸表情识别，为传统课堂形式的改变带来契机。利用大规模的表情数据集训练出高效率、高准确率的表情识别模型，对课堂中学生们的表情进行识别，以便后续通过表情对学生们的心理情境做出分析。但是，由于教室内外光源变化以及学生听课过程中头部姿态的变化均会对识别结果产生影响，因此，如何改善这些外界因素对于表情识别的影响成为亟待解决的问题。

目前，现有技术方案主要存在以下缺点：

1)现有技术方案对面部表情图像采用的光照预处理方法大多适用于光照分布比较统一的图像。而对于教室环境下学生由于位置不同导致面部的光照分布也不同的情况，现有技术方案采用的光照预处理方法由于调整参数固定，不能有效地针对每张图片的光照分布情况自适应地进行调整，部分图像会出现调整后曝光过度或者调整效果不明显的情况。

2)现有技术方案对于面部表情图像采用的姿态校正和人脸对齐的方法大多基于仿射变换和非线性映射等算法，对于头部姿态偏转幅度在45°以内的面部图像，现有技术方案的校正表现良好，但是对于头部姿态偏转幅度超出45°或发生俯仰角、偏航角、翻滚角等三维角度的姿态偏转时，现有技术方案的校正表现大打折扣，并且校正后的图像用于表情识别不足以提升识别的准确率。

3)现有技术方案对于卷积神经网络的搭建和训练大多基于经典的卷积神经网络模型进行微调或修改网络参数和网络结构，一般经过训练后都可以达到较高的准确率。但对于在教室场景下，学生的面部表情往往不会发生明显的变化，并且学生头部姿态偏转较大会导致表情信息缺失较严重，现有技术方案的表情识别方法更多地倾向于依赖卷积神经网络的学习能力，用于真实的教室场景，表情识别率不佳。

发明内容

本发明提供了一种光照和头部姿态鲁棒的表情识别方法、设备及存储介质，以解决在教学场景下，由于受到光照和头部姿态影响，造成学生面部表情信息的缺失，从而导致表情识别准确率大大下降的技术问题。

为解决上述技术问题，本发明提供了如下技术方案：

一方面，本发明提供了一种光照和头部姿态鲁棒的表情识别方法，其包括：

获取待识别的人脸图像，并对获取的人脸图像进行预处理，以将所获取的人脸图像的光照分布自适应调整至符合预设均匀度要求的分布；

从预处理后的人脸图像中提取出面部区域图像和预设类型的关键点；

基于得到的预设类型的关键点，获取预设区域的纹理和边缘特征向量；基于得到的预设类型的关键点，获取人物头部姿态偏转方向，根据人物头部姿态偏转方向的不同，采取不同的姿态微调方式对面部区域图像进行头部姿态校正；