[发明专利]一种基于人体姿态识别的摇臂钻床违规操作检测方法

权利要求书

1.一种基于人体姿态识别的摇臂钻床违规操作检测方法，其特征在于：包括姿态检测计算设备(08)、主摄像头(09)、副摄像头(010)和PLC模块(011)，其中姿态检测计算设备(08)内置集成有姿态检测模型、判断模块以及警告模块。

2.根据权利要求1所述的基于人体姿态识别的摇臂钻床违规操作检测方法，其特征在于，包括以下步骤：

步骤一、摄像头安装：

在工作区域(07)斜上方安装主摄像头(09)，用来拍摄整个工作区域(07)，在钻床摇臂一侧安装副摄像头(010)用来拍摄摇臂下区域(05)。

步骤二、标记区域坐标：

通过主摄像头(09)以及副摄像头(010)记录摇臂钻床升降机构(01)、夹紧机构(02)、电器系统(03)、工作台(04)、摇臂下区域(05)、刀具转动处(06)和工作区域(07)的二维坐标；并将摇臂钻床升降机构设为P1、夹紧机构设为P2、电器系统设为P3、工作区域设为G1、刀具转动处设为G2、工作台区域设为G3、摇臂下区域设为G4。

步骤三、获取人体关节点坐标：

判断模块处于一直运行状态，一旦检测到人体的二维骨架关节点，就判断脖子关节点坐标是否在G1内，是即代表人员进入工作区域(07)，启动一次摇臂钻床工作检测流程；此时将主摄像头(09)以及副摄像头(010)采集的人体二维RGB图像信息通过姿态检测模型进行工人姿态的检测，获取工人关节点二维坐标，将这些关节点二维坐标记录为共享变量，传递给判断模块；且该工人的关节点二维坐标随着主摄像头(09)以及副摄像头(010)获取的实时视频进行实时更新。

步骤四、标记人体关键关节点坐标：

左手腕关节点设为PL、右手腕关节点设为PR、右手腕到右肘的直线设为XR、左手腕到左肘的直线设为XL、鼻子到脖子的直线设为XN、脖子到中臀的直线设为XH。

步骤五、标准工人操作摇臂关节图：

截取不同时间、不同角度工作现场工人常规操作摇臂画面，利用姿态检测计算设备(08)实时采集视频数据中的关节点信息，制作脖子1、右肩2、右手肘3、右手腕4、左肩5、左手肘6、左手腕7、中臀8、左膝盖13、右膝盖10、左脚踝14、右脚踝11这12个节点坐标合集，划定12个圆形区域R1、R2、R3、R4、R5、R6、R7、R8、R9、R10、R11、R12，该圆形区域的半径90-120px设置为判断阈值，从而形成标准工人操作摇臂关节图。

步骤六、检测流程判断：

将主摄像头(09)以及副摄像头(010)拍摄的每帧图像通过判断模块计算标记点右手腕关节点PR分别到摇臂钻床升降机构P1、夹紧机构P2以及电器系统P3的距离，如果距离小于设定阈值40-70px，即判定为工人进行了对摇臂钻床升降机构(01)、夹紧机构(02)、电器系统(03)的检查操作。

步骤七、工作违规检测：

摇臂钻床开启后，检测工人左手腕关节点PL、右手腕关节点PR有无出现在刀具转动处区域G2、工作台区域G3内，由判断模块判断工人是否出现违规操作。

摇臂钻床开启时，检测工人右手腕到右肘的直线XR、左手腕到左肘的直线XL，侵入摇臂下区域G4的范围是否超过阈值60-80px。摇臂钻床开启时，检测工人鼻子到脖子的直线XN、脖子到中臀的直线XH是否位于工作区域G1内。

摇臂钻床开启时，利用姿态检测计算设备(08)实时采集数据中的关节点信息，提取脖子1、右肩2、右手肘3、右手腕4、左肩5、左手肘6、左手腕7、中臀8、左膝盖13、右膝盖10、左脚踝14、右脚踝11这12个节点坐标，并将其与步骤5中得到的标准工人操作摇臂关节图进行对比，判断工人是否常规操作摇臂。

当上述检测判断工人出现违规或操作异常的情况下PLC模块(011)会对摇臂钻床进行停机操作，此时警告模块会对工人进行语音警告，并记录违规画面，并可以将违规信息发送给安全管理人员。

步骤八、结束检测流程：

摇臂钻床停机后，如果检测工人鼻子到脖子的直线XN、脖子到中臀的直线XH不在G1区域内超过阈值20-40分钟，本次工作检测流程结束，等待下一次工作流程重新开启。