[发明专利]基于计算机视觉的幼师体罚小孩行为检测方法

权利要求书

1.一种基于计算机视觉的幼师体罚小孩行为检测方法，其特征是：含有以下步骤：

步骤1、构建幼儿园区域的BIM及其信息交换模块；

步骤2、幼儿园区域布置有枪球联动摄像头，枪球联动摄像头中含有枪机摄像头和球机摄像头，使用枪机摄像头进行拍摄，采集包含有幼师和小孩的图像；

步骤3、使用目标检测网络对步骤2所采集到的包含有幼师和小孩的图像进行检测处理，获取幼师的包围框和小孩的包围框，计算幼师的包围框中心点和小孩的包围框中心点之间的L2距离；

步骤4、当一个幼师的包围框中心点和一个小孩的包围框中心点之间的L2距离小于设定的阈值时，使用球机摄像头进行拍摄，采集包含该幼师和该小孩的图像；

步骤5、使用关键点检测网络检测步骤4所采集到的包含该幼师和该小孩的图像中人体的关键点，并对关键点进行坐标标注，关键点包括人体的头部关键点、颈部关键点、左肩部关键点、右肩部关键点、左肘关节关键点、右肘关节关键点、左腕关节关键点、右腕关节关键点、左髋关节关键点、右髋关节关键点、左膝关节关键点、右膝关节关键点、左踝关节关键点、右踝关节关键点，将坐标标注的人体关键点的散点图与高斯核卷积形成人体关键点热力图；

步骤6、将关键点检测网络输出的人体关键点热力图进行后处理，得到人体的各个关键点位置；

步骤7、使用关键点关系矢量谱生成网络对步骤6中所得到的人体的各个关键点进行数据标注，得到人体的各个关键点的关系谱；数据标注的内容包含各个关键点的位置和方向；

步骤8、结合人体的关键点和各个关键点的关系谱分别获取该幼师和该小孩的二维骨骼关键点信息；

步骤9、将获取的至少两帧连续的该幼师的二维骨骼关键点信息和至少两帧连续的该小孩的二维骨骼关键点信息输入TCN网络，经TCN网络处理后分别得到该幼师和该小孩的三维姿态序列信息；

步骤10、使用两个全连接层FC分别对该幼师和该小孩的三维姿态序列信息进行识别；如果该幼师的三维姿态为弯腰体罚姿态，且该小孩的三维姿态为低头蜷缩站立姿态，则执行步骤11，否则执行步骤12；

步骤11、将检测到的至少两帧连续图像中该幼师的人体关键点投影到幼儿园区域的BIM地面上，根据该幼师的人体关键点的坐标变化得到该幼师肢体的移动轨迹和移动速度；当该幼师肢体的移动速度v大于阈值V’时，则认为存在幼师体罚小孩行为；

步骤12、结束。

2.根据权利要求1所述的基于计算机视觉的幼师体罚小孩行为检测方法，其特征是：所述步骤1中，使用Revit软件构建幼儿园区域的BIM。

3.根据权利要求1所述的基于计算机视觉的幼师体罚小孩行为检测方法，其特征是：所述步骤1中，信息交换模块的信息交换形式是RESTful或MQ。

4.根据权利要求1所述的基于计算机视觉的幼师体罚小孩行为检测方法，其特征是：所述步骤9中，TCN网络在进行迭代训练时使用L2损失函数。

5.根据权利要求1所述的基于计算机视觉的幼师体罚小孩行为检测方法，其特征是：所述步骤10中，该幼师的三维姿态类别标签数据分为两种：1为弯腰体罚姿态，0为正常站立姿态；该小孩的三维姿态类别标签数据同样分为两种：1为低头蜷缩站立姿态，0为抬头正常站立姿态。

6.根据权利要求1所述的基于计算机视觉的幼师体罚小孩行为检测方法，其特征是：所述步骤11中，将检测到的至少两帧连续图像中该幼师的人体的左肘关节关键点、右肘关节关键点、左腕关节关键点、右腕关节关键点、左膝关节关键点、右膝关节关键点、左踝关节关键点和右踝关节关键点投影到幼儿园区域的BIM地面上，根据每个关键点的坐标变化得到关键点对应的该幼师肢体的移动轨迹，根据相邻帧图像间每个关键点的坐标变化量和采样时间得到该幼师肢体的移动速度v。