[发明专利]基于多任务学习的矿井下传送带状态和人员检测方法

权利要求书

1.基于多任务学习的矿井下传送带状态和人员检测方法，其特征在于：该方法包括以下步骤：

S1：融合光流信息的视频目标检测；

S2：基于tow-stream方法的传送带状态分类；

S3：基于多任务学习的矿井下人员和传送带状态检测方法的训练。

2.根据权利要求1所述的基于多任务学习的矿井下传送带状态和人员检测方法，其特征在于：所述S1具体为：

对于输入的帧序列I_t-n，......，I_t-1I_t，I_t+1，......，I_t+n，对于每一帧图像首先通过多层卷积提取对应的图像特征f_t，同时利用光流网络F计算出两帧之间的光流估计Δp，然后利用双线性插值算法W，将光流估计映射到对应的特征中的q位置上：

Δp＝F(I_t-n，I_t)(p)

f_t-n→t＝W(f_t-1，f(I_t-1，I_t))

在获得附近帧的特征f_i→t后，对这些特征进行求平均，作为具有时间和空间特征的新特征放到目标检测中：

通过对邻近帧的特征融合，为SSD检测器提供时间和空间上的信息，解决视频目标检测中的运动模糊和视频散焦的问题。

3.根据权利要求2所述的基于多任务学习的矿井下传送带状态和人员检测方法，其特征在于：所述S2具体为：

针对于场景来说，将附近帧的光流特征和图像特征分别堆叠起来作为输入；

将共享的图像特征作为Spatial stream的输入，得到相应的分类结果，将共享的光流估计作为Temporal stream的输入，得到相应的分类结果，然后对两部分的分类结果融合求平均，得到最后的传送带状态。

4.根据权利要求3所述的基于多任务学习的矿井下传送带状态和人员检测方法，其特征在于：所述S3具体为：

使用均方误差MSE和二元交叉熵BCE分别训练分类分支和检测分支预测；对不同分支的损失函数加上权重，并随着训练的进行而变化，设置epoch₀＝10：

使用Adam优化器，初始学习速率为0.001，epoch衰减指数为10^-5，根据上述公式计算总损失，训练多任务学习模型。