[发明专利]一种安全作业违规行为视频分析方法及系统

权利要求书

1.一种安全作业违规行为视频分析方法，其特征在于，包含：

步骤1，先对采集的数据集进行数据提取并进行候选框的标注，之后进行训练；

1.1采用labelImage工具，预先将采集到的视频数据集进行打标操作并标记分类，

1.2将标注完成的数据集放入YOLOv4-tiny中去训练；

步骤2，调用摄像进行数据提取，选用训练好的最佳权重文件利用OpenCV调用YOLOv4-tiny进行目标检测，

2.1进行检测的时候，根据预先设计，首先检测工人的穿戴是否符合要求，检测通过后，进行安全标志的检测；

2.2当检测到不合格时，予以相应的声音提醒，并在屏幕中显示红色警示标志，当检测合格符合要求后，允许进入滚筒；

其中，读取预先采集到的视频数据集和网络摄像头捕捉的数据后是利用OpenCV的读取图片并对图片进行缩放和剪裁图片、转换颜色、高斯模糊、Canny边缘检测以及膨胀和腐蚀处理的功加载网络来获取YOLO图层，通过检测图层的相关信息，进行数据的提取，使每个被提取出的对象，都确定了标签和区域坐标位置，最后将最合适的框在图像中标记出来。

2.根据权利要求1所述的一种安全作业违规行为视频分析方法，其特征在于，

所述数据提取后，由于对象标签不同，利用OPENCV加载图像信息，再利用YOLOv4-tiny对象检测器的前向传递，即可返回图像的边界盒和相关置信度值，当置信度大于设定的阈值将保留目标检测框，反之则删除目标检测框；同时，由于参数的设定，目标检测框也会出现相应的所属类别，使每个被提取出的对象，都确定了标签、区域坐标位置和置信度；

然后进行标记显示，通过提取坐标和宽度利用opencv画出每个对象的方框和标签，以保证目标检测框的准确性及保证了框完整性。

3.根据权利要求1所述的一种安全作业违规行为视频分析方法，其特征在于，在检测步骤中，屏幕显示有用PyQt5设计的初始化界面；未检测时，屏幕上会出现预先设定好的欢迎界面，当需要检测时，按照界面设定的一步步检测。

4.根据权利要求1所述的一种安全作业违规行为视频分析方法，其特征在于：

该方法将提取的数据进行标注分类；进行检测时，其作业是一个时间段进行检测的，只要在一个预定时间范围内能得到一个正确的、快速的检测结果即可认为检测合格。

5.根据权利要求4所述的一种安全作业违规行为视频分析方法，其特征在于：先检测穿戴时，摄像头每50帧检测一次，当检测的结果标注为合格之后，才可以关闭摄像头，再等待3秒然后重新启动摄像头，然后才能检测安全标志的情况；检测安全标志每100帧发送一次检测结果，当检测到有安全标志牌时，即可关闭摄像头，此时界面重新返回到人员穿戴的检测，以此循环检测。

6.根据权利要求1所述的一种安全作业违规行为视频分析方法，其特征在于：所述YOLOv4-tiny的网络通道模型为修剪YOLOv4-tiny，所述修剪是用weight值的大小来评判filter的重要性，对于一个filter，对所有weight的绝对值求和，作为该filter的评价指标，排序结果并将一层中值低的filter裁掉。

7.根据权利要求1所述的一种安全作业违规行为视频分析方法，其特征在于：所述修剪首先是利用现有数据集训练得到一个表现最好的模型，并将模型参数进行保存，经分析该模型某些位置的卷积核不重要，并且去掉这些不重要的卷积核，根据训练集的不同，删减的通道数是有所不同的，换而言之，针对不同的检测目标，最终生成的修剪后模型是不同的。

8.根据权利要求1所述的一种安全作业违规行为视频分析方法，其特征在于：

所述穿戴进行检测，包括安全帽和防滑鞋，所述安全标志为安全锁和警示牌，当检测到特定的滚筒旋钮开关上挂上锁和标志牌之后，才允许进入滚筒进行作业。

9.一种安全作业违规行为视频分析系统，其特征在于，其包含主要是由摄像机、电源、监视器和视频分析嵌入式平台构成硬件系统；其中，摄像机、监视器通过光缆或网线与视频分析嵌入式平台连接；

视频分析嵌入式平台嵌入有视频分析子系统，该视频分析子系统包括实时视频读取模块、视频分析模块、违规行为图片存储模块、无线网络报警模块和日志记录模块；

实时视频读取模块，被配置用于读取摄像机实时读取视频；

视频分析模块，被配置用于对滚筒作业过程中可能出现的违规行为进行检测；

违规行为图片存储模块，被配置用于存储检测到的违规行为的图片；

无线网络报警模块，被配置用于检测到违规行为时自动向服务器发送违规图片和违规内容进行报警；

日志记录模块，被配置用于记录违规行为出现时的包括时间、地点、行为类型在内的信息。