[发明专利]一种对直播课中的面部表情进行识别的方法、装置及设备

说明书

本发明公开了一种对直播课中的面部表情进行识别的方法、装置及设备，该方法包括：获取原始的面部表情的原始训练数据集，对所述原始训练数据集进行ROI处理，生成目标训练数据集；构建基于跨层连接卷积神经网络的初始面部表情识别模型，根据目标训练数据集对初始面部表情识别模型进行训练，生成目标面部表情识别模型；获取待识别的面部图像，将待识别的图像输入所述目标面部表情识别模型，生成面部表情识别结果。本发明实施例通过在图像处理过程中采用了ROI处理，增加了训练数据集，不仅提高了人脸表情识别的准确率，还加强了训练模型的鲁棒性。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种对直播课中的面部表情进行识别的方法、装置及设备。

背景技术

随着人工智能行业的兴起，基于深度学习的面部表情识别技术越来越受大家的关注，特别在网络直播课中，通过分析直播视频中学生的面部表情，可以得到当前学生的听课状态如何，从而更有利于老师管理和教学。当前的面部表情识别方法中主要存在两个问题：虽然目前人脸表情数据集很多且各式各样，但是由于大部分数据集的表情都是从某特定角度由摄像机拍摄下来的，并且表情图像的数量也不多，因此训练出来的模型存在着一定的不确定性，对随机的新数据泛化能力较弱，鲁棒性很低；传统LeNet-5卷积神经网络是进行手写数字识别的，在进行特征提取的时候，没有考虑到低层次的细节特征，这样，如果网络越来越深，容易出现梯度消失或爆炸问题。因此，现有技术的网络直播课中面部表情识别模型的鲁棒性差，识别准确率较低。

因此，现有技术还有待于改进和发展。

发明内容

鉴于上述现有技术的不足，本发明的目的在于提供一种对直播课中的面部表情进行识别的方法、装置及设备，旨在解决现有技术中的网络直播课中面部表情识别模型的鲁棒性差，识别准确率较低的技术问题。

本发明的技术方案如下：

一种对直播课中的面部表情进行识别的方法，所述方法包括：

获取原始的面部表情的原始训练数据集，对所述原始训练数据集进行ROI处理，生成目标训练数据集；

构建基于跨层连接卷积神经网络的初始面部表情识别模型，根据目标训练数据集对初始面部表情识别模型进行训练，生成目标面部表情识别模型；

获取待识别的面部图像，将待识别的图像输入所述目标面部表情识别模型，生成面部表情识别结果。

进一步地，所述获取原始的面部表情的原始训练数据集，对所述原始训练数据集进行ROI处理，生成目标训练数据集前，包括：

通过摄像机获取直播课中的学生图像，对学生图像进行人脸识别，生成待识别的面部图像。

进一步优选地，所述对学生图像进行人脸识别，生成待识别的面部图像，包括:

对学生图像通过人脸识别算法进行识别，根据识别的结果生成包含有眼睛、鼻子和嘴巴的待识别的面部图像。

进一步优选地，所述获取原始的面部表情的原始训练数据集，对所述原始训练数据集进行ROI处理，生成目标训练数据集，包括：

获取原始的面部表情的原始训练数据集中的一幅初始图像，对所述初始图像进行四等分处理，将等分后的四幅图像进行缩放，缩放后的四幅图像与所述初始图像的尺寸一致，生成四幅等分图像；

将初始图像分别进行上半部遮挡和下半部遮挡处理后，生成两幅遮挡图像；

将初始图像进行镜像处理，生成一幅镜像图像；

将初始图像进行中心聚焦并缩放，生成一幅聚焦图像；

根据所述初始图像、所述等分图像、所述镜像图像、所述聚集图像生成初始图像对应的扩展训练数据集；