[发明专利]一种打架行为识别方法、装置、设备及存储介质

说明书

本申请实施例提供的一种打架行为识别方法、装置、设备及存储介质，包括：从视频流中获取图像帧按照时间顺序存入到预设的队列中；通过预3D‑CNN模型对人体行为对队列中的图像帧进行识别，从空间和时间的维度提取特征以捕捉多个连续帧中的运动信息；采用TDN模型根据连续图像帧的差异提取特征，对局部移动信息进行建波并对多尺寸跨分片的全局移动信息建模；根据3D‑CNN模型和TDN模型输出的结果获得每个行人的打架得分值。3D‑CNN模型通过三维深度神经网络直接对输入进行操作，提取打架行为的时空特征信息。TDN模型捕获视频中的短期和长期时间信息。通过对3D卷积识别结果和TDN结果采用自适应结合，降低了人为设定参数带来的不合理，有效提升打架行为识别的效果。

技术领域

本申请涉及图像处理技术领域，具体地涉及一种打架行为识别方法、装置、设备及存储介质。

背景技术

现有的安全监控系统中，通常是通过监控人员的即时反馈来报告异常情况，但人为监控的方式存在即时性不能保证，耗费大量人力资源等缺陷。在轨道交通场景中，人员流动性大，一旦因为发生打架斗殴行为不能及时告警，会造成人流堵塞，甚至出现踩踏事件。因此一种及时告警的打架行为检测方法能为维护社会治安提供即时响应和关键证据。

中国专利（CN113191278A）基于视频和声音数据融合的打架行为检测方法，主要是选择处理声音片段和视频片段的深度网络结构，通过采集频段中的行人的动作和声音段中的声音实现对打架行为的判定。中国专利（CN113468975A）公开了一种打架行为检测方法及装置，主要通过获取待检测的序列图像,并确定序列图像对应的特征热力图 ;基于特征热力图确定报警区域;对报警区域进行检测,以判断报警区域是否存在打架行为。

上述现有技术虽然都可以在一定程度上实现对打架行为的识别确定，但是采用音频的方式容易受到周围环境的影响。采用特征热力图的方式可以对人员实现定位，一旦人员背着物体，则无法精确识别行人的打架行为。

发明内容

有鉴于此，本申请提供一种打架行为识别方法、装置、设备及存储介质，以利于解决现有技术中无法准确识别公众场合中打架行为的问题。

第一方面，本申请实施例提供了一种打架行为识别方法，包括：

从视频流中获取图像帧，并按照时间顺序将所述图像帧存入到预设的队列中；

通过预设的打架动作识别3D-CNN模型对人体行为对所述队列中的图像帧进行识别，从空间和时间的维度提取特征以捕捉多个连续帧中的运动信息；

采用预设的时序差分分类TDN（时间差分网络，Temporal Difference Network）模型根据连续图像帧的差异提取特征，对局部移动信息进行建波并对多尺寸跨分片的全局移动信息建模；

根据所述3D-CNN模型和TDN模型输出的结果获得每个行人的打架得分值，所述打架得分值用于判断是否进行报警操作。

一种可能的实现方式，所述通过预设的打架动作识别3D-CNN模型对人体行为对所述队列中的图像帧进行识别，从空间和时间的维度提取特征以捕捉多个连续帧中的运动信息，包括：

从所述队列中选择kd个连续帧组成一个3D图像队列，所述kd为每个3D卷积核处理的连续帧数；

所述3D卷积核在图像序列中进行卷积计算，获得输出特征值，所述输出特征值用于确定图像帧中行人是否打架的概率。

一种可能的实现方式，所述3D卷积核在图像序列中进行卷积计算，包括：所述3D卷积核在多个连续帧上进行滑动，每次滑动kd 个连续帧中对应位置内的元素与卷积核中的参数进行乘加计算。

一种可能的实现方式，所述3D-CNN模型包括3个卷积层、1个全连接层和2个池化层，其中前两个卷积层为3D卷积层，卷积核大小为7×7×3 和7×6×3 ，两个卷积核分别处理3个连续帧中7×7 和7×6 大小的区域。