[发明专利]基于深度学习的行为检测方法、装置

说明书

本发明提供一种基于深度学习的行为检测方法及装置。其中方法包括：建立模型数据集，优化模型，提取待检测视频的图像帧，利用深度学习算法模型对相关行为进行检测，得到结果。本发明的有益效果为，可以在复杂条件下，特别是对室外作业划定区域中的目标进行检测，实时性良好，准确率较高，计算速度较快，而且能够在CPU环境下运行，实用性较强。

技术领域

本发明涉及计算机视觉和深度学习领域，尤其涉及一种基于深度学习的行为检测方法、装置。

背景技术

在室外作业场所，有着数量众多的视频监控系统，不断地采集信息和数据。传统技术一般是主要依靠人工辨别来检测监控视频或图像中作业区域的异常行为，由于视频数据量巨大，且室外作业场所情况复杂，依靠人工分析，往往难以快速准确地分析和辨识出异常行为，这种人工检测方法已远不能满足日常监控和目标行为检测的需求。利用计算机视觉和数字图像处理技术，可以一定程度上代替人工检测，对动态场景中目标进行识别和检测。但现有的一些自动异常行为检测方法往往速度较慢，不能完成对场景目标的实时监控。还难以满足复杂条件下对目标行为进行实时检测的需求，准确率较低以及计算速度较慢等问题尚存。

发明内容

在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，该概述并不是关于本发明的穷举性概述，它并非意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为后文的具体实施方式部分的铺垫。

鉴于以上提出的问题，本发明提出了一种基于深度学习的行为检测方法，包括：

步骤S1，收集与目标行为相关的图片，将图片中与目标行为相关的图像区域作为样本集，样本集进行人工标注，使用标注的样本集建立深度学习算法模型的异常行为数据集；

步骤S2，对异常行为数据集进行数据处理和/或优化，得到数据模型，对模型网络结构进行裁剪，减小模型大小和计算量，从而加速推理过程，迁移学习对模型进行训练，得到最终的深度学习算法模型；

步骤S3，输入待检测的视频源，提取该视频源分解的单个图像帧；

步骤S4，对该图像帧归一化，将其转换为神经网络所要求的输入格式blob结构；

步骤S5，根据配置文件和算法模型文件加载神经网络，向神经网络中输入该图像帧构造的blob结构，并进行正向传递，神经网络输出运行获得的预测边界框列表；

步骤S6，循环输出列表中的预测结果，提取classID并获取到边界框centerX，centerY，宽度值，高度值，划定要检测区域的警戒线坐标，根据得到的边界框坐标以及划定要检测区域的警戒线坐标，得到所有在警戒区域内的边界框，在图像上绘制边界框及对应的异常行为classID和置信度分数，从而得到这一帧图像的异常行为检测结果。

步骤S7，循环进行步骤S3～S6，将绘制后的图像进行格式转换并用网络传输，从而在显示终端上展示检测后的视频流。

进一步的，步骤S1中与目标行为相关的图片，包括目标的正常行为和/或异常行为的图片。

进一步的，步骤S2中对数据集进行数据处理和/或优化，包括数据探索，数据预处理，数据清理，数据转换和/或补充规范数据。

进一步的，步骤S3中使用间隔提取的方式，每隔n帧提取一次图像。

进一步的，n的取值为2-5之间。

进一步的，该步骤S4对该图像帧归一化包括，对提取到的图像帧进行颜色空间转换、和/或图像缩放，

对数据进行零均值化预处理，零均值化转化函数如下：

其中μ为所有样本数据的均值，σ为所有样本数据的标准差。