[发明专利]基于深度学习的行为检测方法、装置

权利要求书

1.一种基于深度学习的行为检测方法，包括：

步骤S1，收集与目标行为相关的图片，将图片中与目标行为相关的图像区域作为样本集，样本集进行人工标注，使用标注的样本集建立深度学习算法模型的异常行为数据集；

步骤S2，对异常行为数据集进行数据处理和/或优化，得到数据模型，对模型网络结构进行裁剪，减小模型大小和计算量，从而加速推理过程，迁移学习对模型进行训练，得到最终的深度学习算法模型；

步骤S3，输入待检测的视频源，提取所述视频源分解的单个图像帧；

步骤S4，对所述图像帧归一化，将其转换为神经网络所要求的输入格式blob结构；

步骤S5，根据配置文件和算法模型文件加载神经网络，向神经网络中输入所述图像帧构造的blob结构，并进行正向传递，神经网络输出运行获得的预测边界框列表；

步骤S6，循环输出列表中的预测结果，提取classID并获取到边界框centerX，centerY，宽度值，高度值，划定要检测区域的警戒线坐标，根据得到的边界框坐标以及划定要检测区域的警戒线坐标，得到所有在警戒区域内的边界框，在图像上绘制边界框及对应的异常行为classID和置信度分数，从而得到这一帧图像的异常行为检测结果。

2.根据权利要求1所述的方法，其特征在于，

步骤S1中与目标行为相关的图片，包括目标的正常行为和/或异常行为的图片。

3.根据权利要求1所述的方法，其特征在于，

步骤S2中对数据集进行数据处理和/或优化，包括数据探索，数据预处理，数据清理，数据转换和/或补充规范数据。

4.根据权利要求1所述的方法，其特征在于，

步骤S3中使用间隔提取的方式，每隔n帧提取一次图像，n的取值为2-5之间。

5.根据权利要求1所述的方法，其特征在于，所述步骤S4对所述图像帧归一化包括，对提取到的图像帧进行颜色空间转换、和/或图像缩放，

对数据进行零均值化预处理，零均值化转化函数如下：

其中μ为所有样本数据的均值，σ为所有样本数据的标准差。

6.根据权利要求1所述的方法，其特征在于，所述步骤S5中，输出的边界框由至少5个元素组成，所述5个元素包括，centerX，centerY，宽度值，高度值，边界框包围对象的置信度，其中centerX，centerY为边界框中心点的坐标(x，y)的值。

7.根据权利要求6所述的方法，其特征在于，按照边界框的置信度分类，边界框被分配到得分最高的相对应的类的classID。

8.根据权利要求7所述的方法，其特征在于，在所述分类步骤之后或同时进行，判断边界框的置信度与给定阈值的关系，当边界框的置信度小于给定阈值时，则删除该边界框；当边界框的置信度大于或等于给定阈值时，确定目标边界框，找出最大置信度的边界框，与其他边界框分别计算交并比IoU，所述交并比表示两个边界框的重合率；

IoU计算公式如下：

其中，area(A)和area(B)分别表示最大置信度的边界框和其他边界框的面积，∩表示边界框重合的区域，∪表示边界框合并后的全部区域；

判断交并比IoU与非最大抑制值nms大小，如果IoU大于nms，则舍弃置信度较小的边界框，如果IoU小于或等于nms，上述两个边界框都保留，继续比较下一个边界框，通过这种方法持续计算比较，最终保留全部重叠度小的边界框。

9.根据权利要求8所述的方法，其特征在于，还包括步骤S7，循环进行步骤S3～S6，将绘制后的图像进行格式转换并用网络传输，从而在显示终端上展示检测后的视频流。

10.一种基于深度学习的行为检测装置，包括：

收集模块，收集与目标行为相关的图片，将图片中与目标行为相关的图像区域作为样本集；其还包括人工标注模块，样本集进行人工标注；还包括数据集模块，使用标注的样本集建立深度学习算法模型的异常行为数据集；

优化模块，对异常行为数据集进行数据处理和/或优化，得到数据模型，对模型网络结构进行裁剪，减小模型大小和计算量，从而加速推理过程，迁移学习对模型进行训练，得到最终的深度学习算法模型；

图像获取模块，输入待检测的视频源，提取所述视频源分解的单个图像帧；

图像帧转换模块，对所述图像帧归一化，将其转换为神经网络所要求的输入格式blob结构；

传输模块，根据配置文件和算法模型文件加载神经网络，向神经网络中输入所述图像帧构造的blob结构，并进行正向传递，神经网络输出运行获得的预测边界框列表；

检测结果模块，循环输出列表中的预测结果，提取classID并获取到边界框centerX，centerY，宽度值，高度值，划定要检测区域的警戒线坐标，根据得到的边界框坐标以及划定要检测区域的警戒线坐标，得到所有在警戒区域内的边界框，在图像上绘制边界框及对应的异常行为classID和置信度分数，从而得到这一帧图像的异常行为检测结果。