[发明专利]一种基于人体姿态识别的打钻视频退杆计数方法

说明书

本发明公开了一种基于人体姿态识别的打钻视频退杆计数方法，具体步骤是：利用前端矿用本安摄像仪获取打钻面退杆时的录像，进而采集到视频数据；视频数据通过环网传输到地面服务器上，地面服务器对视频数据进行分析处理；训练具有人体关键点检测功能的AlphaPose模型；检测钻杆，对检测到的钻杆进行框选，并记录框的相关参数；同时，检测人，对检测到的人进行人体骨骼关键点检测，并记录人体关键点的坐标；后端服务器算法通过检测工人是否抓取钻杆和是否有搬运动作联合判断实际获取的钻杆。该方法通过人体姿态识别来检测工人取下钻杆这一连续动作，自动计算出工人取出钻杆的数量，从而提高智能视频分析钻杆计数的准确率。

技术领域

本发明涉及智能图像识别的技术领域，尤其是一种基于人体姿态识别的打钻视频退杆计数方法。

背景技术

随着井下视频监控的普及，智能图像识别在煤矿中的应用越来越广泛。智能图像识别技术借用矿井摄像仪采集的数字图像，通过内嵌入摄像机的智能化算法或后端服务器算法进行运算分析，实现对视频内容的感知，进而根据设定的规律，判断识别相应目标并进行相应报警。由于智能视频识别采用了无接触式检测，因此智能视频识别具备检测范围广、检测成本低等优势，且能24小时不间断工作，这使得工作效率大大提高。

但现在大多煤矿井下依然靠地面人为回看录像的方式对打钻退杆进行计数，井下为工人准备的手动计数按钮使用频率也较少，无法进行计数；同时往往每段视频录像都长达1～2小时，且煤矿井下工作环境恶劣，光线昏暗，工作人员需要时刻集中精力回看录像，长期连续工作后，极易出现因疲劳而造成的漏检、误检。

虽然现在也有一些智能视频分析进行自动钻杆计数，但效果却不是很理想，其中最主要的原因是，这些方法往往都是截取工人取钻杆前后几帧的图片，并通过神经网络提取工人拿取钻杆时瞬间的特征，一旦视频中检测到工人手触碰到末端钻杆即进行+1计数。但往往实际工作作业时会出现工人手扶钻杆、错位重叠等现象，并未真正取下，此时如果依然计数就会造成误检。

发明内容

本发明要解决的技术问题是：为了克服现有技术中存在的不足，提供一种基于人体姿态识别的打钻视频退杆计数方法，通过人体姿态识别来检测工人取下钻杆这一连续动作，自动计算出工人取出钻杆的数量，从而提高智能视频分析钻杆计数的准确率。

本发明解决其技术问题所采用的技术方案是：一种基于人体姿态识别的打钻视频退杆计数方法，具体步骤如下：

步骤1、数据采集：利用前端矿用本安摄像仪获取打钻面退杆时的录像，进而采集到视频数据；

步骤2、数据预处理及标签制作：视频数据通过环网传输到地面服务器上，地面服务器对视频数据进行分析处理；

步骤3、训练具有人体关键点检测功能的AlphaPose模型；

步骤4、检测钻杆，对检测到的钻杆进行框选，并记录框的相关参数；同时，检测人，对检测到的人进行人体骨骼关键点检测，并记录人体关键点的坐标；

步骤5、后端服务器算法通过检测工人是否抓取钻杆和是否有搬运动作联合判断实际获取的钻杆：判断手部关键点坐标与钻杆框选区域是否有重合，当手部关键点坐标与钻杆框选区域没有重合，则重复步骤4；当手臂关键点坐标与钻杆框选区域有重合，则通过全身关键点运动轨迹判断是否存在搬运钻杆的动作；当通过全身关键点运动轨迹判断不存在搬运钻杆的动作，则钻杆数保持不变；当通过全身关键点运动轨迹判断存在搬运钻杆的动作，则在已取钻杆数量的基础上加1。

进一步具体地限定，上述技术方案中，在步骤4中，框的相关参数包括框的中心点位置、框的长度以及框的高度。

进一步具体地限定，上述技术方案中，在步骤4中，人体关键点的坐标包括人体头部的坐标、人体肩部的坐标、人体手部的坐标、人体膝盖部的坐标以及人体脚部的坐标。