[发明专利]基于人体骨架特征的3D卷积神经网络不安全行为检测系统

说明书

本发明公开了一种基于人体骨架特征的3D卷积神经网络不安全行为检测系统。发明涉及人体目标检测、人体姿态以及人体行为识别技术领域。该系统可以通过输入安全生产作业场所实时监控画面，通过YOLOX‑Tiny算法模型得到人体最小矩形包围框的坐标信息，减少视频冗余，随后使用LiteHRNet生成人体骨骼特征向量，最后基于PoseC3D人体动作识别网络模型来对作业人员是否存在不安全行为进行判断和行为分类。本发明采用轻量化算法，同时对输入视频影像进行逐帧冗余过滤，保留关键信息，在保障了识别精度的前提下提高了动作识别的实时性。

【技术领域】

本发明涉及人体目标检测、人体姿态以及人体行为识别技术领域，具体涉及一种基于人体骨架特征的3D卷积神经网络不安全行为检测系统。

【背景技术】

在安全生产领域，随着技术的进步发展，设备、场所等所代表的物的不安全状态和环境的不安全因素在安全生产事故原因中的所占比例在逐年下降。如何规范作业人员，降低不安全行为发生的概率，成为当下重要却富有挑战的难题。尽管随着监管力度的加大，相关法令的完善和监控系统的普及，相关问题得到一定的改善，但是安全生产事故数和死亡人数仍然是一个相当大的数字。因此，为了减少安全生产事故，降低事故导致的人员伤亡和财产损失，针对在某些特定作业场所中不安全行为的识别这一领域进行研究有着相当的必要性。

以往的监管系统大多依赖于人力，在起初技术不发达阶段，单纯的依靠安全相关人员的监管，受限于监管人员的个人素养和数量问题，漏洞频出。而当前阶段，在安全生产领域已经大量推广普及监控系统，但其中鲜有能够提供对人员进行智能化识别的功能，更无法做到对监控范围内的人员的动作行为进行实时监管，需要由管理人员时刻注意着监控画面，因而仍然存在着较大的漏洞。

【发明内容】

针对现有技术在安全生产领域存在的不足，本发明提供一种基于人体骨架特征的3D卷积神经网络不安全行为检测系统。

本发明解决其技术问题采用的技术方案是：发明一种基于人体骨架特征的 3D卷积神经网络不安全行为检测系统，其特征在于，该系统包括如下步骤：

步骤一：通过视频采集设备获取实时视频影像；

步骤二：采用YOLOX-Tiny算法对所述视频影像中的人进行识别，得到所述视频影像中出现的人的总个数以及各个人的最小矩形包围框的坐标和置信度，设定置信度阈值；

步骤三：采用LiteHRNet算法对经过上述步骤二的处理后的待识别对象进行识别，对其中置信度高于设定阈值的人体最小矩形包围框进行人体姿态估计，获取人体重要骨架关节点坐标，将人体骨架关节点依照人体各肢体关节位置进行串接，形成人体骨架特征向量；

步骤四：采用PoseC3D算法对上述步骤三中的人体骨架特征向量进行行行为识别，判断人员是否存在不安全行为。

进一步，上述步骤二中包含：

(1)收集典型包含不安全行为的样本视频作为正样本集，并收集其他各类姿态下的人体视频作为负样本集，将各样本集依照COCO数据集格式合并为一个数据集，依照8:1:1的比例，将上述两个数据集进行统一处理融合后的数据集划分为训练集、验证集和测试集；

(2)所用YOLOX-Tiny算法模型采用CSPDarknet为backbone， YOLOXAFPN为neck，YOLOXHead为bbox_head所构建；

(3)采用上述数据集对YOLOX-Tiny进行训练，建立具有高鲁棒性的人体目标检测模型；

(4)将视频输入的帧图片重置为416×416像素分辨率的图片，保留图片原始的位置信息和缩放比例，对于空白部分进行空白填充；

(5)根据上述所得目标检测模型对上述输入的帧图片信息预测，获得人体所处矩形包围框坐标信息和预测置信度。

进一步，所述的步骤三包括如下：