[发明专利]一种基于复杂学业情绪识别方法的智能学伴机器人

权利要求书

1.一种基于复杂学业情绪识别方法的智能学伴机器人，其特征是包括以下步骤：

步骤S1：定义复杂学业情绪模型；

步骤S2：收集复杂学业情绪数据集；

步骤S3：对收集的复杂学业情绪数据集进行数据预处理；

步骤S4：构建基于学业情绪模型的面部复杂表情识别网络，训练得到复杂表情的识别分类结果;

步骤S5：基于复杂学业情绪识别方法对智能学伴机器人进行设置；

步骤S6：智能学伴机器人对用户进行情绪检测并进行反馈；

步骤S7：智能学伴机器人进行学习记录与反馈，并提出建议。

2.根据权利要求1所述的一种基于复杂学业情绪识别方法的智能学伴机器人，其特征是，所述复杂学业情绪模型包括积极学业情绪，消极学业情绪以及中性学业情绪；所述积极学业情绪包括好奇、激动、专注情绪，所述消极学业情绪包括分心、困惑、焦虑、沮丧、疲倦情绪，所述中性学业情绪包括思考、发呆情绪。

3.根据权利要求1所述的一种基于复杂学业情绪识别方法的智能学伴机器人，其特征是，所述步骤S2包括以下步骤：

步骤S21：线下教学活动中，在不打扰学习者真实学习状态下进行录像，或者收集允许用于研究的课堂监控录像；

步骤S22：利用网络爬虫爬取数据，进行人工筛选有用数据；

步骤S23：利用众包方式，在平台上发布数据收集需求。

4.根据权利要求1所述的一种基于复杂学业情绪识别方法的智能学伴机器人，其特征是，所述步骤S3包括以下步骤：

步骤S31：使用面部识别工具，裁剪图像中面部区域，然后对图像进行统一缩放处理；

步骤S32：使用在线和离线两种数据增强方法，对缩放处理后的图像进行图像增强，图像经过数据增强后批量送入Resnet18复杂表情识别网络中训练。

5.根据权利要求1所述的一种基于复杂学业情绪识别方法的智能学伴机器人，其特征是，所述步骤S4包括以下步骤：

步骤S41：初始化 Resnet18 表情识别网络结构；

步骤S42：使用数据预处理后的复杂学业情绪数据集进行训练，通过卷积层对输入的图像进行空间特征提取，获得面部表情的特征信息；

步骤S43：使用一个全连接层，联合 Softmax 损失函数对面部表情进行分类，得到面部复杂表情识别结果。

6.根据权利要求1所述的一种基于复杂学业情绪识别方法的智能学伴机器人，其特征是，所述智能学伴机器人本体的前侧外表面设置有显示屏模块、摄像头模块；机器人本体后侧外表面设置有开关及音量键、扬声器孔、Micro USB充电口；机器人本体内部设有蓝牙模块、扬声器模块，无线模块。

7.根据权利要求1所述的一种基于复杂学业情绪识别方法的智能学伴机器人，其特征是，所述步骤S6包括以下步骤：

步骤S61：智能学伴机器人通过摄像头记录学习者表情数据并判断学业情绪类别；

步骤S62：通过学业情绪提供情绪引导提高学习效率。

8.根据权利要求1所述的一种基于复杂学业情绪识别方法的智能学伴机器人，其特征是，所述步骤S7包括以下步骤：

步骤S71：将收集到的有关信息传递给移动端APP；

步骤S72：通过移动端APP收集到的任务完成度数据，对学习者的学习状态做出多维度的数据分析，形成以图表为主的可视化结果并给出建议。