[发明专利]挖掘机位置和工作状态检测方法及装置

权利要求书

1.一种挖掘机位置和工作状态检测方法，其特征在于，包括：

获取监控视频，并将所述监控视频逐帧输入至多任务检测模型进行挖掘机检测，输出所述监控视频的当前帧中是否存在挖掘机、挖掘机位置以及挖掘机特征点位置；

若所述当前帧中存在挖掘机，则判断所述挖掘机的当前状态是否为初始状态，若是，则记录所述挖掘机位置以及挖掘机特征点位置，继续对所述监控视频的下一帧进行检测，否则，对所述挖掘机的当前状态与前一状态进行软匹配；

基于软匹配结果，确定挖掘机工作状态；

其中，所述多任务检测模型是预先以挖掘机监控图像为样本，以所述挖掘机监控图像对应的是否存在挖掘机、挖掘机位置和挖掘机特征点位置为样本标签进行训练获得的。

2.根据权利要求1所述的挖掘机位置和工作状态检测方法，其特征在于，训练获得所述多任务检测模型的步骤，具体包括：

采集包括不同角度、光照、位置和工作状态的不同条件下的挖掘机监控图像，并通过自动标定和人工矫正的方式对所述挖掘机监控图像中是否存在挖掘机、挖掘机位置和挖掘机特征点位置进行标记，构建训练样本集；

构建多任务检测模型，所述多任务检测模型包括基础特征提取模型和用于进行目标检测和特征点检测的多任务多尺度检测MT-SSD模型；

将所述训练样本集中的挖掘机监控图像输入至所述基础特征提取模型中，输出所述挖掘机监控图像的基础特征；

将所述基础特征输入至所述MT-SSD模型中，输出是否存在挖掘机、挖掘机位置和挖掘机特征点位置；

基于预先标记的所述挖掘机监控图像中是否存在挖掘机、挖掘机位置和挖掘机特征点位置，以及所述MT-SSD模型输出的是否存在挖掘机、挖掘机位置和挖掘机特征点位置，对所述多任务检测模型进行训练，其中，训练过程中利用多任务损失函数计算多任务损失，所述多任务损失包括是否存在挖掘机分类损失、挖掘机位置损失和挖掘机特征点位置损失三个部分；

训练结束后保存当前迭代所述多任务检测模型的参数，获得训练完成的多任务检测模型。

3.根据权利要求2所述的挖掘机位置和工作状态检测方法，其特征在于，所述多任务损失函数具体为：

其中，α_loc为挖掘机位置检测任务的权重，α_cls为挖掘机检测任务的权重，α_landmark为挖掘机特征点位置检测任务的权重，为第i个样本的挖掘机位置损失，为第i个样本的是否存在挖掘机分类损失，为第i个样本的挖掘机特征点位置损失，N为所述训练样本集的样本数量。

4.根据权利要求3所述的挖掘机位置和工作状态检测方法，其特征在于，第i个样本的挖掘机特征点位置损失采用如下公式计算：

其中，K为特征点的个数，||·||₂为欧式距离，为所述MT-SSD模型输出的第i个样本的挖掘机特征点k的位置，为对应的预先标记的挖掘机特征点的位置。

5.根据权利要求2所述的挖掘机位置和工作状态检测方法，其特征在于，所述基础特征提取模型具体为Mobilenet模型。