[发明专利]基于人体骨架特征的3D卷积神经网络不安全行为检测系统

权利要求书

1.基于人体骨架特征的3D卷积神经网络不安全行为检测系统，其特征在于，该系统包括如下步骤：

步骤一：通过视频采集设备获取实时视频影像；

步骤二：采用YOLOX-Tiny算法对所述视频影像中的人进行识别，得到所述视频影像中出现的人的总个数以及各个人的最小矩形包围框的坐标和置信度，设定置信度阈值；

步骤三：采用LiteHRNet算法对经过上述步骤二的处理后的待识别对象进行识别，对其中置信度高于设定阈值的人体最小矩形包围框进行人体姿态估计，获取人体重要骨架关节点坐标，将人体骨架关节点依照人体各肢体关节位置进行串接，形成人体骨架特征向量；

步骤四：采用PoseC3D算法对上述步骤三中的人体骨架特征向量进行行行为识别，判断人员是否存在不安全行为。

2.根据权利要求1所述的基于人体骨架特征的3D卷积神经网络不安全行为检测系统，其特征在于，上述步骤二中包含；

(1)收集典型包含不安全行为的样本视频作为正样本集，并收集其他各类姿态下的人体视频作为负样本集，将各样本集依照COCO数据集格式合并为一个数据集，依照8:1:1的比例，将上述两个数据集进行统一处理融合后的数据集划分为训练集、验证集和测试集；

(2)所用YOLOX-Tiny算法模型采用CSPDarknet为backbone，YOLOXAFPN为neck，YOLOXHead为bbox_head所构建；

(3)采用上述数据集对YOLOX-Tiny进行训练，建立具有高鲁棒性的人体目标检测模型；

(4)将视频输入的帧图片重置为416×416像素分辨率的图片，保留图片原始的位置信息和缩放比例，对于空白部分进行空白填充；

(5)根据上述所得目标检测模型对上述输入的帧图片信息预测，获得人体所处矩形包围框坐标信息和预测置信度。

3.根据权利要求1中所述的基于人体骨架特征的3D卷积神经网络不安全行为检测系统，其特征在于，所述的步骤三包括如下：

(1)所用LiteHRNet网络模型采用LiteHRNet-18为backbone和neck，TopDownSimpleHead为keypoint_head所构建；

(2)采用上述的数据集集对LiteHRNet网络模型进行训练，建立人体骨架特征向量预测模型；

(3)采用上述的输入的帧图片以图片流的形式，连同上述获得的人体所处矩形包围框坐标信息和预测置信度，作为输入，通过上述训练完成后的LiteHRNet模型进行预测；

(4)在上述输入的图片流中，仅对帧图片中处于步骤三中获得的人体最小矩形包围框范围内的区域进行人体骨架特征向量的预测。

4.根据权利要求1中所述的基于人体骨架特征的3D卷积神经网络不安全行为检测系统，其特征在于，所述的步骤四包括如下步骤：

(1)所用PoseC3D算法模型采用ResNet3dSlowOnly为backbone和neck，I3DHead为class_head所构建；

(2)采用上述的数据集对PoseC3D网络模型进行训练，建立基于人体骨架特征向量的行为识别预测模型；

(3)上述所建立的人体骨架特征向量，生成2D姿态图，堆叠T张形状为K×H×W的二维关键点热图以生成形状为K×T×H×W的3D热图；

(4)将上述所获得的3D热图堆叠输入到PoseC3D模型当中进行识别，以64帧的实践窗口为时长进行采帧，之后采用均匀采样的方式，将其分成长度相同的N段，在每段中选取一帧，共采集N帧进行行为识别，通过预先训练好的分类器，判断行为是否为不安全行为并进行分类。