[发明专利]基于多流架构与长短时记忆网络的组群行为识别方法

摘要

本发明公开了一种基于多流架构与长短时记忆网络的组群行为识别方法，涉及图像识别技术领域，包括以下步骤：数据预处理；B、通过双路TSN网络分别对主要人物候选框和整张图片的外观和运动特征进行提取，得到单人局部空间外观信息单人局部时序运动信息全局空间外观信息和全局时序运动信息C、特征融合及组群行为识别；D、对模型进行训练和测试。本发明的有益效果是，特征提取方面，进一步保证其提取的全面性；特征融合方面，使用通道注意力模型，以获得更具区分性的特征，来提高组群行为的准确率。

主权项

1.一种基于多流架构与长短时记忆网络的组群行为识别方法，其特征在于，包括以下步骤：/nA、数据预处理/n根据数据集中主要人物候选框的标注信息，形成主要人物候选框序列；/n分别提取视频中整张图片和主要人物候选框的光流时序信息；/nB、通过双路TSN网络分别对主要人物候选框和整张图片的外观和运动特征进行提取，得到单人局部空间外观信息单人局部时序运动信息全局空间外观信息和全局时序运动信息/nC、特征融合及组群行为识别/n将和进行融合，得到特征f_A；将和进行融合，得到特征f_B；将和进行融合，得到特征f_C；将和进行融合，得到特征f_D；/n在融合后的特征f_A、f_B、f_C和f_D上分别加一个通道注意力模型，并让每个通道的特征学习一个权重系数，特征的重要性越大，则学习到的权重系数就大；反之，则小；/n经过通道注意力模型输出的四路特征后面分别连接LSTM网络，捕获视频中长期依赖关系；每个LSTM网络直接连接softmax层，并进行分数融合，得出视频序列中的组群行为类别，根据组群行为类别获得整个组群行为的标签；/nD、对模型进行训练和测试。/n