[发明专利]基于图像分割的课堂前排就座率自动检测方法、系统及存储介质

说明书

本发明提供基于图像分割的课堂前排就座率自动检测方法、系统及存储介质。该方法包括：接收教室监控的视频画面图像；对视频画面图像进行处理，分割出教室桌椅所在区域图像；提取教室桌椅所在区域图像中的前排桌椅所在位置图像；对视频画面图像进行处理，检测并输出视频画面图像中的教室内人头所在位置坐标和总人数信息；根据前排桌椅所在位置图像、教室内人头所在位置坐标和总人数信息，计算并输出前排就座率。该方法基于深度学习分割网络检测教室桌椅区域，能直接确定教室内学生就座的有效范围，无需手动标定或额外输入教室桌椅位置，在训练过程中使用基于透视变换的弹性形变等方法进行数据增强，扩充与丰富训练集，增强模型的鲁棒性与泛化性。

技术领域

本发明涉及图像分割技术领域，具体而言，尤其涉及一种基于图像分割的课堂前排就座率自动检测方法、系统及存储介质。

背景技术

在大学课堂上，可能会出现两种极端现象：(1)上课之后，大部分学生都落座在教室中后排，而前排座位上学生寥寥无几；(2)某门课程十分火爆，所有座位都被坐满，甚至有学生坐在教室地面上听课。在这两种现象中，教室前排就座率作为一种表象，反映了课堂的教学质量。有研究指出，前排就座的同学倾向于得到较高成绩，体现了学生对课程学习的积极度与教室座次分布之间的相关性，可用于了解学生学习状态。学生落座前排的数目或占比有时也可反映教师所授课程是否有吸引力，因此也可用来评价教师授课水平或课程难度。因此前排就座率可作为课堂教学质量的一个评价维度，用于评价、诊断并改进课堂教学质量，为提升信息化教学质量提供有力支持。

教室环境较为复杂，现有的一些识别教室空座或评价课堂质量的技术或系统中，有些会利用外置传感器等设备测量记录教室的桌椅位置，相关配置复杂且需添置大批量硬件设备；有些则需要人为手动标定教室特定区域或桌椅位置的坐标，费时费力，且一旦摄像头进行了移动，则需重新进行标定。目前还没有根据教室监控视频图像自动检测前排就座率的方法或系统被提出，前排就座率的计算仍需要耗费大量人员与时间进行人为计数，效率低且十分浪费人力物力。

发明内容

根据上述提出的现有技术中课堂前排就座率检测效率低且浪费人力物力的技术问题，提供一种基于图像分割的课堂前排就座率自动检测方法、系统及存储介质。本发明主要利用教室监控视频图像自动检测教室前排区域，并自动计算课程中教室内前排区域学生数与教室总学生数比值，旨在不依赖外部设备或手动标定来自动检测前排就座率。

本发明采用的技术手段如下：

一种基于图像分割的课堂前排就座率自动检测方法，包括：

接收教室监控的视频画面图像；

对所述接收到的视频画面图像进行处理，分割出教室桌椅所在区域图像；

提取所述教室桌椅所在区域图像中的前排桌椅所在位置图像；

对所述接收到的视频画面图像进行处理，检测并输出视频画面图像中的教室内人头所在位置坐标和总人数信息；

根据所述前排桌椅所在位置图像、教室内人头所在位置坐标和总人数信息，计算并输出前排就座率。

进一步地，所述对所述接收到的视频画面图像进行处理，分割出教室桌椅所在区域图像，包括：

将所述接收到的视频画面图像切分为序列图像；

依次调整序列图像的大小，将序列图像的大小调整到深度学习分割网络要求的尺寸；

将调整好大小的序列图像输入到训练好的深度学习分割网络中，经过网络处理后输出分割网络预测的教室内桌椅区域部分的掩码，取所有掩码的并集作为教室桌椅区域掩码。

进一步地，所述深度学习分割网络包括U-Net、MaskRCNN，所述深度学习分割网络的输出层为与输入同尺寸的概率图，图上每个像素值表示该点属于分割区域的概率，设置阈值将概率值转为0或1，1表示分割区域。