[发明专利]基于深度学习的抽烟检测分析系统

权利要求书

1.基于深度学习的抽烟检测分析系统，其特征在于，包括视频流接入模块、GPU图形分析模块及违规信息组合上传模块，所述GPU图形分析模块包括车辆信息提取模块及违规行为判断模块；

所述视频流接入模块通过检测判断通信网络是否正常、前端摄像机是否正常工作、视频码流是否正常；其中通信网络不通或通信网络延时超出预设值判断为通信网络不正常，摄像机当前图像场景变动、出现干扰、图像失真、模糊判断为前端摄像机不正常，码流丢帧、跳帧判断为视频码流不正常；

所述车辆信息提取模块通过深度学习算法提取车辆信息，其中包括车身颜色、车辆类型、车标、车牌位置和车窗位置，并对车辆在图像中的位置进行精确定位；

所述违规行为判断模块将提取出来的车窗位置结合视频图像，得车辆车窗图像，并将该图像作为输入送入违规行为分析的深度学习算法之中，通过对违规行为分析网络进行前向传播，最终判断驾驶员是否进行抽烟行为；

所述违规信息组合上传模块对违规车辆车牌进行识别，并将违规行为判断模块判断为违规的驾驶员和车辆信息进行组合，并将证据信息上传到上层的服务器中。

2.根据权利要求1所述的基于深度学习的抽烟检测分析系统的分析方法，其特征在于，包括如下步骤：

1）视频流首先通过视频流接入模块，该模块负责对接各种前端相机，并对网络传输的图像数据进行检测，其中主要包括网络检测、相机检查和码流检测三个功能；

2）在确保视频流完整有效之后，将视频流分解为单帧图像，传送到GPU图形分析模块，车辆信息提取模块对图像中车辆的各种信息进行处理，其中主要包括车辆检测、车窗检测、车身信息检测和车牌检测；车辆检测负责检测车辆的准确位置，车窗检测旨在提取车窗区域，并将车窗区域结合视频帧图像，提取车窗图像，并输入到违章行为判断模块中；车身信息检测伴随车辆检测一同进行，主要提取车辆相关信息，包括车辆类型、车身颜色和车标；车牌检测负责提取车牌在图像中的位置；

3）违规行为判断模块以车窗图像为输入，送入深度学习算法的神经网络之中，神经网络接收图像信息作为输入，并进行网络的前向传播，最后在网络的末尾输出违规判断结果；若存在违章行为，则将车牌区域信息和车身相关信息输入违规信息组合上传模块；

4）违规信息组合上传模块接受违章判断模块的信息，将违章司机的相关信息进行整合，并对车牌区域的车牌进行识别，将整合好的信息上传到上层服务器。

3.根据权利要求2所述的基于深度学习的抽烟检测分析系统的分析方法，其特征在于，所述步骤3）中深度学习算法的神经网络包括基础特征提取的8层卷积层结构、多尺度特征提取的3层卷积层结构、特征合并层、金字塔池化层和分类检测回归层；图像输入网络进行前向传播时，先经过基础特征提取的8层卷积层结构，再输入到3层多尺度特征提取的卷积层结构中，将基础特征提取结构中第4层和第8层的特征，结合多尺度提取结构的特征，输入到特征合并层中进行合并，并将输出的合并特征输入到金字塔池化层中；最后将金字塔池化层的输出特征输入到最后的分类检测回归层中，输出违规判断结果；若输出1则为驾驶员违章吸烟；输出为0，则驾驶员安全驾驶，最终得到驾驶员抽烟行为判断。