[发明专利]一种基于多尺度特征的教室人体姿态实时检测方法

说明书

本发明涉及基于多尺度特征的教室人体姿态实时检测方法，属于图像处理与计算机视觉技术领域；所述方法包括基于单阶段目标检测的SSD网络，将教室图像通过分块处理进行数据增强，通过VGG‑16网络提取图像的基础特征，并采用RFB模块提取级联的多尺度特征图；通过多尺度特征增强分支，将原图下采样且送入到多尺度特征增强模块学习多尺度信息，并通过点乘的方式与级联的多尺度特征图进行融合；通过特征自适应融合模块将浅层的细粒度特征与高层语义特征进行互补融合，以提升网络对相似姿态类别的鉴别能力，最后将自适应融合后的特征图进行分类和回归；在保证实时的前提下，解决了在人体密度较大，遮挡较为严重的教室场景的人体姿态检测问题。

技术领域

本发明属于图像处理与计算机视觉技术领域，涉及一种基于多尺度特征的教室人体姿态实时检测方法。

背景技术

学生的姿态信息对教学管理以及教学评估有着重要的意义。如果一名老师的课堂很成功，那么课堂上学生几乎都会端坐着认真听讲，或者站起来回答问题与教师互动。如果一名课堂不足以引起学生的兴趣，通常学生会趴着玩手机或者趴在桌上睡觉。此外，在考场中，我们可通过学生是否站起身来或者趴在桌上等姿态状态判断学生是否有作弊嫌疑。但通常对于课堂以及考场的管理和评估工作都是由督导人工走访抽查完成，十分耗时低效，因此运用现有的计算机技术解放人工具有重要的意义。

姿态检测是指通过运用深度学习算法解码图像中人体姿态信息。随着深度学习算法的快速演变推进，基于深度学习的人体姿态检测算法在计算机视觉中有着广泛的应用。而随着教室监控摄像头的普及，人工智能技术在教学实践中的广泛应用，基于教室监控场景下的姿态检测算法逐渐受到关注，通过采用计算机视觉技术获取某一个时刻点学生在课堂上的姿态状态信息，为评估课堂教学质量提供了一项便捷且低成本的途径。

现有的2D多人姿态估计方法大多基于人体关键点信息，采用自顶向下的方法或者自底向上的方法估计人体姿态，近年来取得了较大进展。然而对于教室场景的目标，人群十分密集，前后排遮挡以及下半身遮挡普遍较为严重，且由于监控摄像头成像距离的不同，教室前后目标分辨率差异较大。在教室场景中，现有的基于关键点的姿态估计方法的可靠性较低，因此目标检测的方法更适合解决教室场景的人体姿态状态分析任务。而如何使用目标检测技术以提高人体姿态检测的准确率和时间效率具有重要研究意义。

发明内容

基于现有技术存在的问题，本发明提出一种基于多尺度特征的教室人体姿态实时检测方法，包括以下步骤：

S1、采集教室监控图像，并对其进行标记；

S2、对标记后的原始图像进行数据增强；

S3、以单阶段目标网络SSD网络作为基础结构，将原始图像与增强后的图像调整到相同大小，输入到骨干网络VGG-16中，并使用RFB模块替换SSD网络的特征输出层，并通过特征输出层提取出不同尺度的特征图；

S4、对增强后的原始图像通过下采样，并对下采样的图像提取出多尺度的上下文特征；

S5、将得到的多尺度的上下文特征注入到不同尺度的特征图中，并通过尺度匹配获得多尺度特征；

S6、将获得的多尺度特征基于自适应权重的特征融合方式进行融合；

S7、对融合后的多尺度特征进行检测，输出教室监控图像中的人体姿态的检测框。

本发明的有益效果在于：本发明采用单阶段的目标检测框架，在速度和精度上具有较好地权衡。通过多尺度特征增强分支和特征自适应融合模块有效解决了多尺度目标的检测效果差的问题，同时通过特征自适应融合模块增加了细粒度特征和高层语义特征的鉴别能力，对特征相似的类别具有较好的鉴别效果。本发明基于目标检测框架解决教室场景下的姿态检测任务，使得在背景复杂，人群密集度高的教室场景能够快速准确的检测出目标的姿态。

附图说明

图1是本发明中教室人体姿态实时检测方法的逻辑框架图；