[发明专利]基于HSV-YOLOv3的网课学生行为识别方法

权利要求书

1.基于HSV-YOLOv3的网课学生行为识别方法，具体步骤如下，其特征在于：

步骤1，获取学生网课图像标定数据：通过网课系统平台实时检测学生上课情况，并定时中断定时截取学生上课图像，同时对采集到的学生上课图像制作标签；

步骤2，模拟噪声环境数据：考虑到所采集的学生上课图像会存在干扰情况，向步骤1中获取的图像数据添加加性噪声以模拟噪声环境下采集信号受到的干扰；

步骤3，提取学生上课图像的颜色特征：通过HSV特征提取算法提取学生上课图像的颜色特征，并分别训练基于HSV、学生上课图像和灰度图像的YOLOv3学生行为识别模型；

步骤4，设计基于简单投票法的学生网课行为识别，对不同分类模型取相同的融合权重，得到每个分类器对于同一个学生行为的分类结果，并统计此学生行为属于各个类别的得票数，将得票数最多的类别确定为学生网课行为的类别；

步骤5，处理学生行为类别异常，将分类器输出的行为异常结果实时发送给老师和家长客户端，并提醒老师和家长进一步监督学生；

步骤6，将训练获得的学生行为分类模型嵌入至系统平台中，并实际应用。

2.根据权利要求1所述的基于HSV-YOLOv3的网课学生行为识别方法，其特征在于：步骤2中模拟噪声环境数据的过程表示为：

步骤1将网课系统平台检测的学生的行为图像制作好标签后，在图像数据上叠加椒盐噪声：

式中，x_n为原始电压数据，d为高斯白噪声数据，x表示得到的模拟噪声环境下采集的数据。

3.根据权利要求1所述的基于HSV-YOLOv3的网课学生行为识别方法，其特征在于：步骤3中提取学生上课图像的颜色特征的过程表示为：

将学生网课图像的RGB颜色通过颜色空间转化到HSV空间中，其中H代表颜色空间中的色调H∈[0°,360°] 、S代表饱和度S∈[0,1]、V代表亮度V∈[0,1]，再对HSV分量进行非均匀量化，H量化7级、S量化3级、V量化7级并用下式提取图像的颜色特征：

其中，Q_S和Q_V分别是S和V的量化级数，Q_S=3、Q_V=9，得224维的颜色特征G，将训练样本提取的HSV特征和标签组成学生网课行为图像训练样本HSV特征集。

4.根据权利要求1所述的基于HSV-YOLOv3的网课学生行为识别方法，其特征在于：步骤3中训练YOLOv3学生行为识别模型的过程表示为：

训练基于HSV的YOLOv3学生行为识别模型：将学生网课行为图像训练样本HSV特征集中每个样本特征扩充为416×416的样本，并输入到YOLOv3的输入层中，训练基于HSV的YOLOv3学生行为识别模型；

训练基于学生上课图像的YOLOv3学生行为识别模型：将检测到的学生图像数据压缩为416×416的维度，并输入到YOLOv3的输入层中，训练基于学生上课图像的YOLOv3学生行为识别模型；

训练基于灰度图像的YOLOv3学生行为识别模型：将检测到的学生图像转化为灰度图像，并将数据压缩为416×416的维度，并输入到YOLOv3的输入层中，训练基于灰度图像的YOLOv3学生行为识别模型。

5.根据权利要求1所述的基于HSV-YOLOv3的网课学生行为识别方法，其特征在于：步骤4中设计基于简单投票法的学生网课行为识别的过程表示为：

经过步骤3分别训练3个YOLOv3分类器之后，基于简单投票法的学生网课行为识别步骤为：

步骤4.1：在网课系统平台中实时检测学生上课图像数据，按照步骤3提取图像的HSV特征和灰度图像，并将上课图像数据、HSV特征和灰度图像分别扩充至416×416格式；

步骤4.2：将步骤4.1中获得的不同数据特征，当做YOLOv3输入向量输入至对应的YOLOv3分类器中；

步骤4.3：统计三个YOLOv3分分类器对学生行为的识别结果，并将具有最大频数所在的类别确定为学生行为的类别。