[发明专利]一种基于深度学习的人体行为的识别方法

说明书

本发明涉及基于深度学习的人体行为的识别方法，包括步骤：S1收集数据：采集数据，形成数据集；S2数据集处理：输入数据集，并对数据集中的数据进行人员检测及跟踪，并通过人体姿态估计提取每个数据集的骨骼信息，并进行姿态估计，获得姿态估计结果；S3危险行为分析：使用数据集训练并构建ST‑GCN识别模型，再将姿态估计结果输入ST‑GCN识别模型进行危险行为分析和识别，获得识别结果并输出识别结果。利用目标检测的YOLO V4算法进行人体检测，再对人体进行目标跟踪，此处采用的是DeepSort跟踪算法，利用OpenPose进行骨骼关节点的提取，最终将骨骼序列利用ST‑GCN识别模型进行人体行为识别。

技术领域

本发明涉及深度学习技术领域，尤其涉及一种基于深度学习的人体行为的识别方法。

背景技术

社会安全、学校安全、道路交通、自然或人为灾害等方面引发的事件给人们带来的巨大的生命财产损失，事件的检测、报警以及处理变得尤为重要，如果只是依靠人力来完成这些工作，已经不能满足人们的需要，这就要求通过技术手段来协助人们完成事件的检测、报警等相关的工作，减轻人们的工作负担，同时提高事件处理的效率。与此同时，政府部门也对这类事件高度重视，要求采用“人防、物防和技防”的手段，来高效的处理甚至避免此类事件的发生。

安全监控对随着监控系统的发展，监控系统的应用也越来越多，当监控地点较多时，如果只是通过人工来进行分析，显然不现实，而且成本也较高，这就对监控系统的智能性提出了要求。如今随着计算机技术、存储容量、数字编解码技术的不断进步，视频监控已经逐步向智未2能化发展。

智能化的监控系统离不开计算机对视频内容的理解，视频行为识别是视频理解方向的重要内容，也是计算机视觉领域的重要组成部分，同时也是安全监控的重要范畴，在视频信息检索、日常生活安全、公共视频监控等领域都有广泛的应用前景和社会价值，需要投入进行大量的研究和探索。视频行为识别是视频理解方向一个很重要的问题，至今为止已经研究多年。目前，视频人体行为识别的方法按特征提取方式的不同分为两类，1)基于传统手工特征的行为识别，其首先利用专家设计的特征提取视频的底层行为特征，之后采取PCA(Principal Component Analysis)和白化(Whitening)对底层特征进行处理，之后再放入分类器中训练，最终得到较好的分类器，可以实现视频行为识别；2)基于深度学习的方法，其利用迭代学习自动从视频中提取深度学习的行为特征向量，再通过然后通过深度模型得到类别得分，并根据数据的标签，利用反向传播的方式调整网络模型参数，最终达到良好的分类效果。

基于手工特征的视频行为识别方法，其中最鲁邦、效果最好的方法是Wang等提出的iDT方法(improved Dense Trajectories),是在DT(Dense Trajectories)的基础上，对轨迹施加全局平滑约束，得到更鲁棒的与运动轨迹。DT算法的基本思路为利用光流场来获得视频序列中的一些轨迹，再沿着轨迹提取HOF，HOG，MBH，trajectory 4种特征。最后利用FV(Fisher Vector)方法对特征进行编码，再基于编码结果训练SVM分类器，从而实现行为识别。