[发明专利]一种基于多模态数据的学习专注度评估方法及装置

权利要求书

1.一种基于多模态数据的学习专注度评估方法，其特征在于，包括：

获取多个学习者的多模态数据，并利用所述多模态数据构建多模态学习专注度数据集；

利用所述多模态学习专注度数据集，构建最优多模态指标集合；

建立学习专注度评估模型，并利用所述最优多模态指标集合对所述学习专注度评估模型进行训练，得到训练好的学习专注度评估模型；

获取当前学习者的多模态数据，并将所述当前学习者的多模态数据输入到所述训练好的学习专注度评估模型中，得到当前学习者的学习专注度评估结果。

2.根据权利要求1所述的方法，其特征在于，所述多模态数据包括学习视频数据和生理数据；其中，所述学习视频数据是通过摄像头采集学习者在学习期间自发产生的学习视频数据；的所述生理数据包括心跳间期IBI、血液容积脉搏波BVP、皮肤电活动EDA以及皮肤温度SKT。

3.根据权利要求2所述的方法，其特征在于，所述利用所述多模态数据构建多模态学习专注度数据集包括：

从所述多模态数据的学习视频数据中提取多个具有连续时间序列的学习视频行为片段，并从所述多模态数据的生理数据中分别获取与每个具有连续时间序列的学习视频行为片段相对应的生理数据片段；

通过将所述每个具有连续时间序列的学习视频行为片段和其对应的生理数据片段进行一一对应处理，得到多个以计算机视觉行为作为单元的待标注样本数据；

通过脑电检测法、自我报告法和专家观察法分别对所述多个待标注样本数据标注学习专注度标签，构建多模态学习专注度数据集。

4.根据权利要求3所述的方法，其特征在于，所述从所述多模态数据的学习视频数据中提取多个具有连续时间序列的学习视频行为片段包括：

通过对所述学习视频数据进行序列切割，得到多个学习视频行为片段，并判断每个学习视频行为片段中是否包含具有特异性计算机视觉行为连续表达；

当判断学习视频行为片段中包含具有特异性计算机视觉行为连续表达时，则将该学习视频行为片段作为具有连续时间序列的学习视频行为片段。

5.根据权利要求3所述的方法，其特征在于，所述利用所述多模态学习专注度数据集，构建最优多模态指标集合包括：

通过对所述多模态学习专注度数据集进行特征提取，得到多个特征，并将每个特征转换为有意义的可解释指标；

通过特征工程法从所述有意义的可解释指标中筛选出具有显著区分性的重要指标，形成最优多模态指标集合。

6.根据权利要求1所述的方法，其特征在于，还包括：

将所述当前学习者的学习专注度评估结果通过教学仪表盘进行可视化呈现。

7.一种基于多模态数据的学习专注度评估装置，其特征在于，包括：

构建模块，用于获取多个学习者的多模态数据，并利用所述多模态数据构建多模态学习专注度数据集；以及利用所述多模态学习专注度数据集，构建最优多模态指标集合；

建立及训练模块，用于建立学习专注度评估模型，并利用所述最优多模态指标集合对所述学习专注度评估模型进行训练，得到训练好的学习专注度评估模型；

评估模块，用于获取当前学习者的多模态数据，并将所述当前学习者的多模态数据输入到所述训练好的学习专注度评估模型中，得到当前学习者的学习专注度评估结果。

8.根据权利要求7所述的装置，其特征在于，所述多模态数据包括学习视频数据和生理数据；其中，所述学习视频数据是通过摄像头采集学习者在学习期间自发产生的学习视频数据；的所述生理数据包括心跳间期IBI、血液容积脉搏波BVP、皮肤电活动EDA以及皮肤温度SKT。