[发明专利]基于多任务学习的矿井下传送带状态和人员检测方法

说明书

本发明涉及一种基于多任务学习的矿井下传送带状态和人员检测方法，属于计算机领域。该方法包括以下步骤：S1：融合光流信息的视频目标检测；S2：基于tow‑stream方法的传送带状态分类；S3：基于多任务学习的矿井下人员和传送带状态检测方法的训练。本发明能利用视频信息对传送带附近的生产违规行为进行准确的判断，一方面利用前后多帧图像光流信息对传送带状态进行判断，另一方面再融合多帧图像间的运动信息提高目标检测的性能。将这两种任务结合起来提出了一种基于多任务学习的策略，来有效得对监控视频中的违规行为做出判断。

技术领域

本发明属于计算机领域，涉及基于多任务学习的矿井下传送带状态和人员检测方法。

背景技术

在煤矿生产中煤矿下传送带区域是一个危险区域，在设备运行时清理煤堆和浮煤，极易 造成机械设备伤人事故，造成伤残甚至危及生命。为保证矿井和工作人员的安全，通过技术 手段对危险区域入侵行为进行识别并警示是很有必要的。然而，现有的危险区域入侵检测方 法仅对视频中的人员进行检测，并未对危险区域进行判断，以至于不能做出正确的分析和预 警。本发明提出的传送带状态和人员检测的方法利用深度学习的方式同时实现传送带的状态 分析和人员位置的检测。

目前传送带状态和人员入侵检测的比较成熟的方法一般是将传感器的检测和视频检测方 法结合使用。传感器对环境要求比较高，这样的技术可以适用于一般的视频监控系统场景， 但是无法适用于生产恶劣的煤矿环境。而视频监控系统在不同的环境下的表现比较鲁棒，所 以提出一种基于监控视频的检测方法对传送带的状态进行判断。针对于传送带状态的判断， 传统的方法是利于背景建模的方式来进行判断，但是背景建模的方法的缺陷是可以检测视频 中有物体移动，而无法判断是什么物体在移动。

在过去的数十年中，目标检测取得了显著成就。针对于视频的目标检测，一般来说都是 将视频分为单帧图像，再进行检测，比较典型的算法有yolov3和SSD算法，但运动模糊的图像 内容无法准确检测，针对于单阶段的视频目标检测来说，一般是进行后处理，将前后几帧图 像预测的检测框进行置信度的排序，然后取交并比最大的结果。但是这样的方法只适用于物 体移动较少的情景下，而在煤矿下，工人在区域内频繁的作业，位置变动较大。

发明内容

有鉴于此，本发明的目的在于提供一种基于多任务学习的矿井下传送带状态和人员检测 方法。

为达到上述目的，本发明提供如下技术方案：

基于多任务学习的矿井下传送带状态和人员检测方法，该方法包括以下步骤：

S1：融合光流信息的视频目标检测；

S2：基于tow-stream方法的传送带状态分类；

S3：基于多任务学习的矿井下人员和传送带状态检测方法的训练。

可选的，所述S1具体为：

对于输入的帧序列I_t-n，……，I_t-1，I_t，I_t+1，……，I_t+n，对于每一帧图像首先通过多层卷积提取对应的图像特征f_t，同时利用光流网络F计算出两帧之间的光流估计Δp，然后利 用双线性插值算法W，将光流估计映射到对应的特征中的q位置上：

Δp＝F(I_t-n，I_t)(p)

f_t-n→t＝W(f_t-1，f(I_t-1，I_t))

在获得附近帧的特征f_i→t后，对这些特征进行求平均，作为具有时间和空间特征的新特征 放到目标检测中：