[发明专利]一种基于图像序列的行人行为类别检测方法

说明书

本发明公开了一种基于图像序列的行人行为类别检测方法，包括：1、训练测试数据集的采集与处理，通过摄像头采集多场景下的行人行为视频，利用deep‑sort对视频中的目标人物进行检测跟踪制作目标图像序列；2、根据方法的需求搭建基于时空网络的判别模块以及未来帧预测网络模块；3、对的两个模块进行训练，使整个模型达到最优状态并保存模型参数；4、利用已训练好的模型对行人行为类别进行检；5、使用的网络模型利用两个判别模块联合优化模型来进行训练，将各个模块连接组成系统，对视频中的行人行为进行检测分类。本发明能很好的捕捉到图像序列的空间信息以及时间信息，从而提升对行为检测的准确性。

技术领域

本发明涉及视频图像处理、目标检测、多目标追踪、深度学习领域，尤其是涉及一种基于图像序列的行人行为类别检测方法。

背景技术

随着当今社会的发展推进，为了节约人力资源和资金成本，摄像头在各个领域都得到广泛的应用，获取的视频信息可以帮助我们高效的获取我们需要的信息。行为识别Action Recognition是指对视频中人的行为动作进行识别，即读懂视频。比如说在单行道上出现逆向行驶的车辆，在客厅突然摔倒的老人。通过行为识别，在具体某些行为上可以及时获取这些重要信息。

当前在行为识别领域的方法分为基于传统模型和基于深度学习模型两大类。在传统的行为识别模型中，通常都是先提取手工特征(HOG，HOF，DenseTrajectories等)，然后使用分类器进行分类，iDT是传统方法中很经典的模型，DT算法和iDT算法的基本框架括密集采样点特征、特征点轨迹跟踪和基于轨迹的特征提取三部分，后续再进行特征编码和分类。基于深度学习模型的方法按照是否先检测人体关键点，基于深度学习的方法可以简单地划分为“skeleton-based”和“video-based”两类。

对于大多数的动作都具有不同的表现形式，动作持续的时间也有差别。通过图像获得的信息不足以描述当前的行为信息。而通过视频来作为处理数据，由于视频段的长度不易，而且开放环境下存在多尺度、多目标、摄像机移动等众多问题，这些问题都将导致行为识别未能实用化。基于骨胳轨迹序列的方法在面对复杂场景如遮挡等或者出现复杂动作时这对骨胳点的提取准确度有着很大的要求，人与人之间、人与背景之间的相互遮挡也使得模型对动作分类前期特征提取带来了很大的困难；

发明内容

本发明是为了解决上述现有技术存在的不足之处，提出一种基于图像序列的行人行为类别检测方法，以期望能充分利用目标图像序列的空间信息以及时间信息，在保证模型的行为检测准确度的同时，又能使检测速度达到实时的效果。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种基于图像序列的行人行为类别检测方法的特点包括以下步骤：

步骤1：训练测试数据集的采集与处理；

步骤1.1：通过监控摄像头采集真实场景的行人活动视频，并将所述行人活动视频进行跳帧处理，获得不同场景下的行人图像帧并进行归一化处理后，用于训练多目标跟踪器；

利用训练后的多目标跟踪模型对所述行人活动视频进行跟踪处理，获得第p个目标人物的图像帧序列其中，为第p个目标人物在第t帧中的图像；T表示总帧数；

步骤1.2：对图像帧序列中的每帧图像进行类别的标注，从而构建训练数据集；

从所述图像帧序列中取长度为n的连续图像帧并构建成一个子序列记y_label为所述子序列的真实标签；

将第p个目标人物在第t帧中的图像进行归一化处理后，得到维度为(c,h,w)的特征图为从而得到特征图序列作为判别网络的输入序列；

步骤2：构建基于时空网络的判别模块，所述判别模块由一个卷积神经网络IfeNet、一个双向长短期记忆网络以及以一个注意力机制层构成；