[发明专利]基于深度学习的人脸表情识别方法

说明书

一种基于深度学习的人脸表情识别方法，首先制作自定义人脸表情分类数据集，将其用于训练智能教室情景下的人脸表情识别模型，然后应用两种迁移训练的方法，分别对两种不同的预训练模型进行迁移训练，并在自定义数据集上进行训练，然后对比分析其训练及测试结果，得到准确率最高的模型及训练方法，然后讲该模型应用到人脸表情识别系统中。本发明在可应用于智能教室情境下，利用学生在听课过程中的视频及图像，加强在智能教室中老师跟学生的互动性。

技术领域

本发明属于人工智能及人脸识别技术领域，涉及一种基于深度学习的人脸表情识别方法，主要应用于智能教室情境下的人脸表情识别。

背景技术

在日常生活中主要使用的是语言交流，然而脸部的表情在很多时候可以传达出更多的内心活动和情绪变化。如果能够对表情进行准确识别，可以更加方便快捷的了解人类的内心世界。近几年来，人脸表情识别技术已经被应用于多个领域，如医疗、教育和交通。

智能教室是现代教育的一种实现方式，老师和学生通过在线视频的方式实现教学和学习，在这个基础上，可以利用视频处理、图像识别、深度学习等技术，实现增强的智能教室。利用学生在听课过程中的视频及图像，对学生的表情进行识别，并据此完成对学生所听课程讲解难易程度、感兴趣程度等的评估，以此加强在智能教室中，老师跟学生的互动性，并且优化教师授课的效果，可以相应的对课程的难易程度及讲解方式进行调整。

发明内容

本发明的目的在于提供一种基于深度学习的人脸表情识别方法，利用基本表情数据库样本，利用图像处理及机器学习相关技术，完成对人脸基本表情的识别，并应用到智能教室这一具体场景中。

本发明的技术方案如下：

一种基于深度学习的人脸表情识别方法，其特征在于：首先制作自定义人脸表情分类数据集，将其用于训练智能教室情景下的人脸表情识别模型，然后应用两种迁移训练的方法，分别对两种不同的预训练模型进行迁移训练，并在自定义数据集上进行训练，然后对比分析其训练及测试结果，得到准确率最高的模型及训练方法，然后讲该模型应用到人脸表情识别系统中。

上述两种预训练模型进行迁移训练，分别为在标准表情数据库下进行过预训练的Inception_Resnet_V2网络模型，以及在ImageNet数据集上进行过物体识别训练的VGG模型；使用智能教室情景下的人脸表情数据集对其进行训练，通过不同的迁移训练方法，对得到的表情识别模型分别进行研究以及对比，并根据对用户的需求分析，实现将表情识别结果以可视化方式进行展示，让用户可以更加清楚的了解识别的结果。

本发明在可应用于智能教室情境下，利用学生在听课过程中的视频及图像，对学生的表情进行识别，并据此完成对学生所听课程讲解难易程度、感兴趣程度等的评估，以此加强在智能教室中，老师跟学生的互动性，并且优化教师授课的效果，可以相应的对课程的难易程度及讲解方式进行调整。

具体实施方式

目前现有的大部分表情识别系统是基于7种基本表情：生气、厌恶、害怕、伤心、高兴、中性和惊讶，然而这种分类方法并不完全适用于教室情景下的表情分类，本发明将在基础表情的划分基础上，重新定义对表情的分类，如积极、消极和中性等，并实现适用于智能教室的人脸表情识别的深度学习算法。

另一方面，深度神经网络结构庞大，需要训练的参数达到百万级别，因此需要大量的数据作为训练的输入，如何构建自定义的教室情景下的人脸数据集，并采取一些方法扩充数据集以满足训练的需求，或者使用预训练过的模型进行迁移训练，是本发明的第二各要解决的问题。

本发明要解决的第三个问题是如何在深度学习的众多网络模型中选出最适用于本项目的模型，并进行相应的改进，以及深度网络的众多参数该如何调整以找到效果最好的模型。

本发明的具体实现方法如下：