[发明专利]个体时空关系推理的群体暴力行为检测方法

说明书

本发明公开了一种个体时空关系推理的群体暴力行为检测方法，包括：群体暴力行为的人体检测；群体暴力行为的空间关系表达；群体暴力行为的多尺度组合关系表达；群体暴力行为的时空关系推理表达；群体暴力行为检测模型训练；群体暴力行为检测。本发明重点实现了群体暴力行为的空间关系表达、多尺度组合关系表达、时空关系推理表达三个关键任务。针对群体人物之间的关系建模，在考虑人物个体特征相似度的基础上，考虑人物的距离接近程度，提供不同行为作用范围的行人空间关系，同时，引入多尺度组合操作，实现密集的空间关系建模。在空间关系基础上，融合时间隐状态特征，实现时空关系建模，有效表达群体暴力行为。

技术领域

本发明涉及行为识别技术领域，尤其涉及一种个体时空关系推理的群体暴力行为检测方法。

背景技术

群体暴力行为影响社会安定，对公共秩序具有很大危害。对群体暴力行为的及时检测和预警有着重要的市场前景。早期的方法，用概率图模型处理手工提取的特征进行群体暴力行为识别，其鲁棒性较低。随着深度学习在特征学习领域取得成功，深度学习模型促使了群体暴力行为检测性能的提高。

基于深度学习的群体暴力行为检测技术研究有两个方向。第一个方向是基于注意力的方法，研究者将注意力机制与RNN或卷积操作结合起来，在每个时间步长或卷积过程中选取关键特征用于暴力行为识别。但是在群体暴力行为中，模型的输入是不规则的人像数据，并且人与人之间存在着隐藏的结构关系，注意力机制不能挖掘这些潜在关系。第二个方向是基于图卷积的方法，图卷积将神经网络扩展到图的领域，可以捕捉不规则数据中的结构关系。这种结构关系属于注意力权重的一种，根据它在节点之间传播信息，更新节点特征。

然而，上述方法没有考虑到结构关系的层次性，即复杂关系和简单关系的联系，我们引入了一个基于社交距离的多尺度图用于捕获这种不同程度的交互关系，其中低尺度图对应简单交互关系，高尺度图对应复杂交互关系。此外，我们将这个多尺度图模块嵌入到循环神经网络中，以充分结合时空关系。此前，这种技术大多集中在基于骨架的行为识别领域，例如，专利号为:202011120587.1的中国专利公开了《一种基于骨骼关节点的图卷积行为识别方法及装置》，他们先使用OpenPose提取人体骨架，然后基于骨骼的时间序列进行动态建模，构建时空拓扑图。再例如，专利号为:201910309644.1的中国专利公开了《一种本发明公开了一种基于时空注意力的骨骼行为识别方法》，使用时空图卷积(ST-GCN)对视频人体骨架系列进行建模。

但是，上述工作都将时空图的技术应用场景集中在骨架时空图构建，骨架图是一个人的时空图，其图结构相对简单。

发明内容

本发明目的就是为了弥补已有技术的缺陷，提供一种个体时空关系推理的群体暴力行为检测方法。本发明解决的应用场景是群体暴力行为，涉及多个人，其空间关系更加密集，时间关系更加复杂。其空间密集关系不仅存在于多个行人之间，而且存在于不同尺度的关系之间。因此，本发明在现有时空图的基础上，重点研究群体暴力行为的空间关系表达、多尺度组合关系表达、时空关系推理表达，以充分研究多个行人之间的关系图构建，有效表达群体暴力行为，并实现对复杂场景中的鲁棒识别。

本发明是通过以下技术方案实现的：

一种个体时空关系推理的群体暴力行为检测方法，具体包括以下步骤：

步骤1、对群体暴力行为的视频训练集进行群体暴力行为的人体检测；

步骤2、根据群体暴力行为的人体检测结果进行群体暴力行为的空间关系表达；

步骤3、根据群体暴力行为的空间关系进行群体暴力行为的多尺度组合关系表达；

步骤4、根据步骤1的群体暴力行为的人体检测结果和步骤3的群体暴力行为的多尺度组合关系进行群体暴力行为的时空关系推理表达；

步骤5、根据群体暴力行为的时空关系得到群体暴力行为特征，并进行群体暴力行为检测模型训练，得到群体暴力行为检测模型；