[发明专利]基于多流架构与长短时记忆网络的组群行为识别方法

说明书

本发明公开了一种基于多流架构与长短时记忆网络的组群行为识别方法，涉及图像识别技术领域，包括以下步骤：数据预处理；B、通过双路TSN网络分别对主要人物候选框和整张图片的外观和运动特征进行提取，得到单人局部空间外观信息单人局部时序运动信息全局空间外观信息和全局时序运动信息C、特征融合及组群行为识别；D、对模型进行训练和测试。本发明的有益效果是，特征提取方面，进一步保证其提取的全面性；特征融合方面，使用通道注意力模型，以获得更具区分性的特征，来提高组群行为的准确率。

技术领域

本发明涉及图像识别技术领域，特别是一种基于多流架构与长短时记忆网络的组群行为识别方法。

背景技术

近年来，视频中的人类行为识别在计算机视觉领域取得了举世瞩目的成就。组群行为分析在现实生活中也得到了广泛应用，如智能视频监控、异常事件检测、体育分析、理解社会行为等，这些应用都使得组群行为识别具有重要的科学实用性和巨大的经济价值。随着深度学习逐渐在计算机视觉领域取得了巨大成功，卷积神经网络(CNN)也逐渐被应用于基于视频的人类行为识别，并取得了显著成效。

给定一段视频序列，简单的行为识别即单人动作的分类，只需将其中每个人的动作准确分类到已知的动作类别中。较复杂的人体行为即组群行为识别，往往给定的视频中包含多个目标多个动作类别，多个目标可能在同时做相同的动作，或者多个目标正在共同完成同一个行为(行为)，我们将这些由多人完成的相同动作或者共同完成的行为(行为)称为“组群行为”。本申请涉及的内容是基于视频中的多人行为识别问题。

一般来讲，用于行为识别的融合方法主要有两种：前期融合和后期融合。前期融合也叫特征融合，特征融合又分为级联融合、最大值融合和平均融合。后期融合主要是指分数融合。早期融合是通过将它们整合到单个流中进行训练，连接来自不同流的特征，其融合方式如图1所示；后期融合是通过平均或使用线性分类器来组合两个网络的softmax分数，如图2所示。这种融合方法也称为决策级融合或语义级融合，该方法已广泛用于图像和视频分析。

在组群行为识别任务中，目前还存在两方面的问题。(1)在特征提取方面，通常先对视频中的关键人物进行定位，关注局部信息从而忽略全局特征，关注外观特征从而忽略其运动特征，从而导致特征提取的不全面性。(2)在特征融合方面，通常仅采用特征融合或分数融合，或既采用分数融合又采用特征融合，但若将提取的特征仅进行简单的融合，那么将不能有效提高组群行为识别的准确率。

发明内容

本发明的目的是为了保证对输入视频特征提取的全面性，有效保证视频序列中的组群行为识别的准确性，设计了一种基于多流架构与长短时记忆网络的组群行为识别方法。

为了实现上述目的，本发明的技术方案为，一种基于多流架构与长短时记忆网络的组群行为识别方法，包括以下步骤：

A、数据预处理

根据数据集中主要人物候选框的标注信息，形成主要人物候选框序列；

分别提取视频中整张图片和主要人物候选框的光流时序信息；

B、通过双路TSN网络分别对主要人物候选框和整张图片的外观和运动特征进行提取，得到单人局部空间外观信息单人局部时序运动信息全局空间外观信息和全局时序运动信息

C、特征融合及组群行为识别

将和进行融合，得到特征f_A；将和进行融合，得到特征f_B；将和进行融合，得到特征f_C；将和进行融合，得到特征f_D；

在融合后的特征f_A、f_B、f_C和f_D上分别加一个通道注意力模型，并让每个通道的特征学习一个权重系数，特征的重要性越大，则学习到的权重系数就大；反之，则小；