[发明专利]一种基于卷积神经网络的翻越行为识别方法

权利要求书

1.一种基于卷积神经网络的翻越行为识别方法，其特征在于，包括：

S1、对视频数据进行处理：筛选和剪切，筛选出有翻越栏杆的行为及在栏杆附近其他行为的视频，并将视频剪切为视频帧的图片；

S2、通过Yolo目标检测网络对步骤S1得到的视频帧进行检测；具体的：Yolo目标检测网络至少包括三个部分：Backbone部分、Neck部分、Head部分；通过Backbone部分聚合并形成图像特征，通过Neck部分组合并传递图像特征到预测层，通过Head部分对图像特征进行预测，生成边界框并预测类别；

S3、将边界框、预测类别为人、当前视频帧传递到GOTURN网络中进行目标跟踪，从当前帧向GOTURN网络输入边界框坐标，从前一帧向GOTURN网络输入目标，GOTURN网络学习比较这些目标，以找到当前图像中的目标对象，并逐帧绘制轨迹点，连成轨迹线；

S4、通过轨迹点集合与栏杆位置的相对位置关系，使用先验知识判定是否为翻越栏杆的行为。

2.根据权利要求1所述的一种基于卷积神经网络的翻越行为识别方法，其特征在于，所述步骤S1包括以下子步骤：

S11、查找并下载若干包含各种人物动作的视频数据集；

S12、从视频数据集中筛选出包含有翻越栏杆的行为的人物视频，以及其他与人物形态类似的物体视频；

S13、剪切筛选出的视频，把每一个视频按照25fps连续剪切为视频帧，得到一系列连续的视频帧并保存。

3.根据权利要求1所述的一种基于卷积神经网络的翻越行为识别方法，其特征在于，所述通过Backbone部分聚合并形成图像特征，具体为：将输入视频帧通过CSPResNext50神经网络聚合并形成图像特征，以实现图像特征提取。

4.根据权利要求3所述的一种基于卷积神经网络的翻越行为识别方法，其特征在于，所述通过Neck部分组合并传递图像特征到预测层，具体为：将图像特征通过SPP-block和PANet组合并传递图像特征到预测层。

5.根据权利要求4所述的一种基于卷积神经网络的翻越行为识别方法，其特征在于，所述预测类别至少包括预测类别为人。

6.根据权利要求1所述的一种基于卷积神经网络的翻越行为识别方法，其特征在于，所述步骤S3包括以下分步骤：

S31、将步骤S24生成的边界框、预测类别为person、当前视频帧传递到GOTURN网络中；

S32、将当前视频帧和边界框进行裁剪得到带目标的中心区域，将前一帧视频进行裁剪得到带目标的搜索区域；

S33、将S32得到的上一帧目标和当前帧的搜索区域同时经过CNN的卷积层，然后将卷积层的输出通过全连接层，用于回归当前帧目标的边界框位置，并绘制当前帧坐标框中心点作为轨迹点，以备后续进行轨迹分析；

S34、重复步骤S31-S32，直到视频帧全部进入GOTURN网络中。

7.根据权利要求6所述的一种基于卷积神经网络的翻越行为识别方法，其特征在于，所述步骤S4包括以下分步骤：

S41、记录步骤S33生成的轨迹点，并生成轨迹点集合；

S42、手动标记栏杆线的位置坐标，以备后续进行轨迹分析；

S43、通过轨迹点集合与栏杆位置的相对位置关系，使用先验知识判定是否为翻越行为，若是则输出标签为crossing，若不是则不输出。