[发明专利]一种打架行为识别方法、装置、设备及存储介质

权利要求书

1.一种打架行为识别方法，其特征在于，包括：

从视频流中获取图像帧，并按照时间顺序将所述图像帧存入到预设的队列中；

通过预设的打架动作识别3D-CNN模型对人体行为对所述队列中的图像帧进行识别，从空间和时间的维度提取特征以捕捉多个连续帧中的运动信息；其中，包括：从所述队列中选择kd个连续帧组成一个3D图像队列，所述kd为每个3D卷积核处理的连续帧数；所述3D卷积核在图像序列中进行卷积计算，获得输出特征值，所述输出特征值用于确定图像帧中行人是否打架的概率；所述3D卷积核在图像序列中进行卷积计算，包括：所述3D卷积核在多个连续帧上进行滑动，每次滑动kd 个连续帧中对应位置内的元素与卷积核中的参数进行乘加计算；

采用预设的时序差分分类TDN模型根据连续图像帧的差异提取特征，对局部移动信息进行建波并对多尺寸跨分片的全局移动信息建模；

根据所述3D-CNN模型和TDN模型输出的结果获得每个行人的打架得分值，所述打架得分值用于判断是否进行报警操作。

2.根据权利要求1所述的打架行为识别方法，其特征在于，所述3D-CNN模型包括3个卷积层、1个全连接层和2个池化层，其中前两个卷积层为3D卷积层，卷积核大小为7×7×3 和7×6×3 ，两个卷积核分别处理3个连续帧中7×7 和7×6 大小的区域。

3.根据权利要求2所述的打架行为识别方法，其特征在于，所述采用预设的时序差分分类TDN模型根据连续图像帧的差异提取特征，对局部移动信息进行建波并对多尺寸跨分片的全局移动信息建模，包括：

从每个视频片段中随机抽取一帧图形帧得到T帧 I= [T1, T2，……，Tn]，其中I的形状为[T, C, H, W]；

应用时差图和稀疏采样策略建立视频级的移动信息建模框架TDN模型，所述TDN由S-TDM和L-TDM组成；

通过S-TDM对于叠加了时差信息的RGB图做局部移动信息的建模，L-TDM对于多尺寸跨分片的全局移动信息建模。

4.根据权利要求1-3任一项所述的打架行为识别方法，其特征在于，分别获取3D-CNN模型和TDN模型在测试集上的第一错误率和第二错误率，所述第一错误率用于确定所述3D-CNN模型的第一权重，所述第二错误率用于确定所述TDN模型的第二权重，所述第一权重和第二权重用于计算总体的打架得分。

5.根据权利要求4所述的打架行为识别方法，其特征在于，通过所述打架得分判断是否打架时，同时确定打架动作持续时间是否满足预警时间段，通过所述打架得分和打架动作持续时间判断打架累计值是否达到设定阈值，所述设定阈值用于确定是否进行报警。

6.一种打架行为识别装置，其特征在于，包括：

视频处理模块，用于从视频流中获取图像帧，并按照时间顺序将所述图像帧存入到预设的队列中；

第一特征获取模块，用于通过预设的打架动作识别3D-CNN模型对人体行为对所述队列中的图像帧进行识别，从空间和时间的维度提取特征以捕捉多个连续帧中的运动信息；

第二特征获取模块，用于采用预设的时序差分分类TDN模型根据连续图像帧的差异提取特征，对局部移动信息进行建波并对多尺寸跨分片的全局移动信息建模；

判断模块，用于根据所述3D-CNN模型和TDN模型输出的结果获得每个行人的打架得分值，所述打架得分值用于判断是否进行报警操作。

7.一种电子设备，其特征在于，包括：

处理器；

存储器；

以及计算机程序，其中所述计算机程序被存储在所述存储器中，所述计算机程序包括指令，当所述指令被所述处理器执行时，使得所述电子设备执行权利要求1至7中任意一项所述的方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至7中任意一项所述的方法。