[发明专利]基于图像分割的课堂前排就座率自动检测方法、系统及存储介质

权利要求书

1.一种基于图像分割的课堂前排就座率自动检测方法，其特征在于，包括：

接收教室监控的视频画面图像；

对所述接收到的视频画面图像进行处理，分割出教室桌椅所在区域图像；

提取所述教室桌椅所在区域图像中的前排桌椅所在位置图像；

对所述接收到的视频画面图像进行处理，检测并输出视频画面图像中的教室内人头所在位置坐标和总人数信息；

根据所述前排桌椅所在位置图像、教室内人头所在位置坐标和总人数信息，计算并输出前排就座率。

2.根据权利要求1所述的基于图像分割的课堂前排就座率自动检测方法，其特征在于，所述对所述接收到的视频画面图像进行处理，分割出教室桌椅所在区域图像，包括：

将所述接收到的视频画面图像切分为序列图像；

依次调整序列图像的大小，将序列图像的大小调整到深度学习分割网络要求的尺寸；

将调整好大小的序列图像输入到训练好的深度学习分割网络中，经过网络处理后输出分割网络预测的教室内桌椅区域部分的掩码[m₁,m₂,...,m_i]，取所有掩码的并集m_inter作为教室桌椅区域掩码。

3.根据权利要求2所述的基于图像分割的课堂前排就座率自动检测方法，其特征在于，所述深度学习分割网络包括U-Net，所述深度学习分割网络的输出层为与输入同尺寸的概率图，图上每个像素值表示该点属于分割区域的概率，设置阈值将概率值转为0或1，1表示分割区域。

4.根据权利要求2所述的基于图像分割的课堂前排就座率自动检测方法其特征在于，所述深度学习分割网络的训练过程，包括：

数据标注：设置固定帧数对教室监控视频进行间隔采集，采集到的所有图像作为训练集图像，并对桌椅区域进行标注，计算得到标注位置的坐标，标注位置为桌椅区域的四个角点、最前排和最后排桌子的中点、第三排桌子最边缘且靠近后排的桌角；

数据增强：训练时对训练集进行数据增强，增强方法包括弹性形变，弹性形变基于透视变换，旋转和随机裁剪需保证桌椅区域保持完整和始终处于图像内；

损失函数：网络损失函数使用交叉熵损失函数与dice损失函数，并设置不同权重使网络收敛。

5.根据权利要求1所述的基于图像分割的课堂前排就座率自动检测方法其特征在于，所述提取所述教室桌椅所在区域图像中的前排桌椅所在位置图像，包括：

计算分割得到的掩码区域m_inter的面积，保留面积最大的掩码区域作为桌椅区域；

检测桌椅区域的轮廓，并计算得到轮廓的最小外接矩形；

计算最小外接矩形的角点坐标，得到最小外接矩形左右两条边的中点坐标，与最小外接矩形下边两端点坐标；

根据教室特征对角点坐标进行策略调整，得到包围区域，使包围区域逐渐逼近教室前排区域，并输出前排区域坐标。

6.根据权利要求1所述的基于图像分割的课堂前排就座率自动检测方法，其特征在于，所述对所述接收到的视频画面图像进行处理，检测并输出视频画面图像中的教室内人头所在位置坐标和总人数信息，包括：

将所述序列图像输入到训练好的深度学习人头检测网络中，检测并输出图像中出现的所有人头坐标与总人头数。

7.根据权利要求1所述的基于图像分割的课堂前排就座率自动检测方法，其特征在于，所述根据所述前排桌椅所在位置图像、教室内人头所在位置坐标和总人数信息，计算并输出前排就座率，包括：

通过桌椅区域掩码对人头坐标进行限制，排除位于讲台上的老师或窗户倒影中误检的人头，得到学生人头坐标与学生人头总数；

根据学生人头坐标判断学生是否出现在所述包围区域内并进行计数，得到前排人数；

根据所述前排桌椅所在位置图像、教室内人头所在位置坐标和总人数信息，计算前排就座率，并输出前排就座率的最终计算结果。