[发明专利]一种基于骨架提取的异常行为识别方法及系统

权利要求书

1.一种基于骨架提取的异常行为识别方法，其特征在于，包括如下步骤：

步骤S1：获取具有人体图像的视频；

步骤S2：对视频中的人体图像进行目标人员检测，并对检测到的目标人员进行跟踪；

步骤S3：提取跟踪到的目标人员的人体关节置信度图和骨骼漂移场图，对人体关节置信度图采取非极大值抑制，得到一系列候选关节点，将候选关节点之间相互连接构成二分图，将骨骼漂移场图作为二分图中边的权值，并对二分图进行优化构建人体骨架；

步骤S4：将视频的每帧图像中目标人员的人体骨架按时间顺序组合得到骨架序列，根据骨架序列构建时空图，对时空图采用时空图卷积操作提取行为特征，并对行为特征进行分类，识别目标人员是否存在异常行为。

2.根据权利要求2所述的一种基于骨架提取的异常行为识别方法，其特征在于，步骤S2中，所述对视频中的人体图像进行目标人员检测的方法包括：

步骤S21：利用labelImg工具对视频的视频帧图像中的人头位置进行标注，获得标记边界框，利用YOLOv3网络对视频帧图像进行统一尺寸并划分栅格，获得栅格内的预测目标边界框；

步骤S22：根据标记边界框和预测目标边界框，得到预测目标边界框的分类置信分数；

步骤S23：若分类置信分数小于预设置信阈值，则将预测目标边界框删除，若分类置信分数大于等于预设置信阈值，则将预测目标边界框保留，将保留的预测目标边界框进行非最大抑制滤波，输出最终目标人员位置。

3.根据权利要求2所述的一种基于骨架提取的异常行为识别方法，其特征在于，所述分类置信分数为：

其中，如有目标落入栅格，则Pr(Object)＝1，否则为0；为预测目标边界框与标记边界框的交互比，Detection为预测目标边界框，GroundTruth为标记边界框，表示预测目标边界框与标记边界框一致。

4.根据权利要求1所述的一种基于骨架提取的异常行为识别方法，其特征在于，所述对检测到的目标人员进行跟踪的方法包括：

利用YOLOv3网络获取目标人员的YOLOv3网络边界框，利用RT-MDNet算法获取目标人员的RT-MDNet算法边界框；

计算YOLOv3网络边界框和RT-MDNet算法边界框的重叠度；

当重叠度大于或等于预设重叠度阈值时，选择RT-MDNet算法边界框作为下一帧跟踪器模型的更新输入；否则，选择YOLOv3网络边界框作为下一帧跟踪器模型的更新输入，所述下一帧跟踪器模型为：

f^d＝[φ¹(x^d；R),φ²(x^d；R),...,φ^K(x^d；R)]∈R^2×K

其中，x^d为输入为d域的图片，R为边界框，K是训练数据集总数，φ^d为计算d域最后一层全连接层的前景和背景的二分类得分的函数。

5.根据权利要求4所述的一种基于骨架提取的异常行为识别方法，其特征在于，所述重叠度为：

其中为YOLOv3网络边界框，x₁,y₁,ω₁,h₁分别为YOLOv3网络边界框中心在图像中的横坐标、纵坐标、边界框宽、边界框高，为RT-MDNet算法边界框，x₂,y₂,ω₂,h₂分别为RT-MDNet算法边界框在图像中的横坐标、纵坐标、边界框宽、边界框高。