[发明专利]基于大数据和人工智能的学校课堂学生学习行为跟踪分析方法及云管理平台

权利要求书

1.基于大数据和人工智能的学校课堂学生学习行为跟踪分析方法，其特征在于：包括以下步骤：

S1：采集教室内各个学生的图像信息，并进行图像预处理操作；

S2：对各个学生图像信息进行特征提取，确定各个学生的行为种类特征和人脸图像偏角；

S3：统计各个学生在不同学科的学习行为评估系数以及对应的学习行为等级和各个学科的学生兴趣度；

S4：对各个学生在不同学科的学习行为评估系数以及对应的学习行为等级和各个学科的学生兴趣度进行显示；

上述基于大数据和人工智能的学校课堂学生学习行为跟踪分析方法使用了一种基于大数据和人工智能的学校课堂学生学习行为跟踪分析系统，包括区域划分模块、平面坐标划分模块、图像采集模块、图像预处理模块、建模分析服务器、图像特征提取模块、数据库、管理服务器和显示终端；

所述图像采集模块分别与区域划分模块、图像特征提取模块和图像预处理模块连接，图像特征提取模块分别与图像预处理模块、建模分析服务器和数据库连接，建模分析服务器分别与数据库和显示终端连接，管理服务器分别与显示终端、数据库和平面坐标划分模块连接；

所述平面坐标划分模块用于对教室内学生的位置坐标进行划分，以靠近老师讲台最左边第一排第一个学生的位置为坐标原点建立平面直角坐标系，将靠近老师讲台的第一排座位作为平面直角坐标系的X轴，以坐标原点从左往右的方向作为平面直角坐标系X轴的正方向，将靠近老师讲台最左边第一列座位作为平面直角坐标系的Y轴，以坐标原点从下往上的方向作为平面直角坐标系Y轴的正方向，将各个学生的位置以坐标形式进行标记，并将各个学生的位置坐标发送至管理服务器；

所述区域划分模块用于对教室内所有学生的位置进行区域划分，将教室内所有学生的位置划分成若干面积相同的检测子区域，将划分后的各个检测子区域按照各检测子区域依次距离老师讲台的距离由近到远的顺序进行编号，依次标记为1,2,...,i,...,g,并将各检测子区域内的所有学生，按照预设的顺序，依次标记为1,2,...,m,...,n；

所述图像采集模块包括高清摄像头，安装在教室内，用于对教室内上各种学科时各个检测子区域内所有的学生进行图像采集，并将采集到的上各种学科时各个检测子区域内所有学生的图像分别发送至图像预处理模块和图像特征提取模块；

所述图像预处理模块接受上各种学科时各个检测子区域内所有学生的图像，对接收的上各种学科时各个检测子区域内所有学生的图像进行图像分割，拼接图像分割得到的人脸特征区域，并去除该区域之外的背景图像，将保留的区域图像通过几何归一化处理变化为大小一致且人脸存在偏角的图像，同时进行灰度变换处理和图像增强处理，得到处理后的上各种学科时各个检测子区域内所有学生的存在偏角的人脸目标图像，并将处理后的上各种学科时各个检测子区域内所有学生的存在偏角的人脸目标图像发送至图像特征提取模块；

所述图像特征提取模块，接收图像采集模块发送的上各种学科时各个检测子区域内所有学生的图像，对接收到的上各种学科时各个检测子区域内所有学生的图像进行放大，并对上各种学科时各个检测子区域内所有学生的图像中学生的行为特征与数据库中存储的不同种类的学生行为特征进行对比，得到上该中学科时该检测子区域内该学生的行为种类特征，进而得到上各种学科时各个检测子区域内所有学生的行为种类特征，构成行为种类特征集合A_pi(a_pi1,a_pi2,...,a_pim,...,a_pin)，a_pim表示为上第p种学科时第i个检测子区域内第m个学生的行为种类特征，接收图像预处理模块发送的上各种学科时各个检测子区域内所有学生的存在偏角的人脸目标图像，提取上各种学科时各个检测子区域内所有学生的人脸目标图像的偏角，构成人脸图像偏角集合B_pi(b_pi1,b_pi2,...,b_pim,...,b_pin)，b_pim表示为上第p种学科时第i个检测子区域内第m个学生的人脸图像偏角，图像特征提取模块将行为种类特征集合和人脸图像偏角集合发送至建模分析服务器；

所述数据库用于存储学生的不同行为种类特征，存储学生的标准学习行为特征，存储人脸图像标准偏角范围，存储学生的人脸图像偏角不在人脸图像标准偏角范围的时间阈值，并存储不同学习行为等级对应的学习行为评估系数范围；

所述建模分析服务器接收图像特征提取模块发送的行为种类特征集合，提取数据库中存储的标准学习行为特征，将行为种类特征集合中上各种学科时各个检测子区域内各个学生的行为种类特征与数据库中存储的标准学习行为特征进行对比，构成行为种类特征对比集合A′_pi(a′_pi1,a′_pi2,...,a′_pim,...,a′_pin)，a′_pim表示为上第p种学科时第i个检测子区域内第m个学生的行为种类特征与标准学习行为特征的对比值，若上第p种学科时第i个检测子区域内第m个学生的行为种类特征与标准学习行为特征对比成功，则a′_pim等于固定数值R，若上第p种学科时第i个检测子区域内第m个学生的行为种类特征与标准学习行为特征对比失败，则a′_pim等于0，建模分析服务器根据行为种类特征对比集合统计各个学科的学生行为种类匹配吻合系数；

建模分析服务器接收图像特征提取模块发送的人脸图像偏角集合，提取数据库中存储的人脸图像标准偏角范围，将人脸图像偏角集合中上各种学科时各检测子区域内各个学生的人脸图像偏角与人脸图像标准偏角范围进行对比，构成人脸图像偏角对比集合B′_pi(b′_pi1,b′_pi2,...,b′_pim,…,b′_pin)，b′_pim表示为上第p种学科时第i个检测子区域内第m个学生的人脸图像偏角与人脸图像标准偏角范围的对比值，若该学生的人脸图像偏角在人脸图像标准偏角范围内，则b′_pim＝0，若该学生的人脸图像偏角小于人脸图像标准偏角范围的最小值，则将该学生的人脸图像偏角与人脸图像标准偏角范围的最小值做差，取绝对值，若该学生的人脸图像偏角大于人脸图像标准偏角范围的最大值，则将该学生的人脸图像偏角与人脸图像标准偏角范围的最大值做差，取绝对值，并统计上各种学科时各检测子区域内所有学生的人脸图像偏角不在人脸图像标准偏角范围的时间；

建模分析服务器根据人脸图像偏角对比集合、上各种学科时各检测子区域内所有学生的人脸图像偏角不在人脸图像标准偏角范围的时间，以统计各个学生在不同学科的学习行为评估系数，根据各个学科的学生行为种类匹配吻合系数和各个学生在不同学科的学习行为评估系数以统计各个学科的学生兴趣度，将各个学生在不同学科的学习行为评估系数发送至管理服务器，将各个学科的学生兴趣度发送至显示终端；

管理服务器接收各个学生在不同学科的学习行为评估系数以及对应学生的位置坐标，提取数据库中存储的不同学习行为等级对应的学习行为评估系数范围，将各个学生在不同学科的学习行为评估系数与数据库中存储的不同学习行为等级对应的学习行为评估系数范围进行对比，若该学生在该学科的学习行为评估系数在一级学习行为等级对应的学习行为评估系数范围内，则该学生在该学科的学习行为等级为一级学习行为等级，若该学生在该学科的学习行为评估系数在二级学习行为等级对应的学习行为评估系数范围内，则该学生在该学科的学习行为等级为二级学习行为等级，若该学生在该学科的学习行为评估系数在三级学习行为等级对应的学习行为评估系数范围内，则该学生在该学科的学习行为等级为三级学习行为等级，管理服务器将各个学生在不同学科的学习行为评估系数以及对应的学习行为等级和该学生的位置坐标发送至显示终端；

所述显示终端接收建模分析服务器发送的各个学科的学生兴趣度，接收管理服务器发送的各个学生在不同学科的学习行为评估系数以及对应的学习行为等级和该学生的位置坐标，并进行显示。