[发明专利]基于双目视觉的灭火动作检测方法及灭火器安全实训系统

权利要求书

1.一种基于双目视觉的灭火动作检测方法，其特征在于：

S1，获取实感深度摄像头的一个红外信号发射器和一对深度传感器采集的实训场景的红外图像，获取实感深度摄像头的RGB传感器采集的实训场景的彩色图像；

S2，依据双目立体视觉方法对两张红外图像进行处理，重构实训场景的三维信息，获得实训场景的深度图像；

S3，利用预设深度学习模型识别实训场景的彩色图像中的仿真灭火器，并结合实训场景的深度图像获得仿真灭火器中心位置的三维坐标；

S4，依据仿真灭火器中心位置的三维坐标进行作业人员上下风口位置准确性判定；

S5，在实训场景的深度图像中，搜索与仿真灭火器中心位置的距离位于第一预设深度范围内的目标坐标点，生成相应的人体轮廓二值图像，并依据所述人体轮廓二值图像进行作业人员侧身动作规范性判断；

S6，在实训场景的深度图像中，搜索与仿真灭火器中心位置的距离位于第二预设深度范围内的目标坐标点，生成相应的灭火器喷头轮廓二值图像，并结合实训场景的彩色图像获取仿真灭火器喷头中心位置的三维坐标，实时计算仿真灭火器喷头中心位置相对仿真灭火器中心位置的偏移距离，实现仿真灭火器喷头的实时追踪，以进行灭火判断。

2.根据权利要求1所述的基于双目视觉的灭火动作检测方法，其特征在于，所述深度学习模型的训练步骤如下：

采集作业人员手持不同仿真灭火器在不同方位以不同姿态进行灭火的照片，并为每张照片上的仿真灭火器目标打上类型标签；

将多张与灭火器颜色相近或形状相近的图片作为干扰背景，与采集的照片一起作为数据集；

基于yolov3的迁移学习方法，对所述数据集进行训练，获得灭火器的深度学习模型。

3.根据权利要求1所述的基于双目视觉的灭火动作检测方法，其特征在于，S4的具体步骤如下：

计算仿真灭火器中心位置的三维坐标中的X坐标值与预设火源点的X坐标值的差值，根据所述差值判断仿真灭火器是否位于预设火源点的指定风口方向，若位于指定风口方向，则判断作业人员处于上风口，否则判断作业人员处于下风口。

4.根据权利要求1所述的基于双目视觉的灭火动作检测方法，其特征在于，S5的具体步骤如下：

在实训场景的深度图像中，搜索与仿真灭火器中心位置的距离位于第一预设深度范围内的目标坐标点，生成第一目标轮廓二值图像；

对所述第一目标轮廓二值图像进行平滑处理，选择满足面积要求且面积最大的轮廓，作为作业人员的人体轮廓二值图像；

根据所述人体轮廓二值图像中肩膀与颈部的位置差异获取作业人员左右肩膀的二维坐标位置，并基于所述深度图像分别获得左右肩膀对应的深度值；

计算作业人员左右肩膀的深度差值，判断所述深度差值是否位于预设差值范围内，若位于，则判定作业人员侧身动作规范，否则判定作业人员侧身动作不规范。

5.根据权利要求1所述的基于双目视觉的灭火动作检测方法，其特征在于，S6的具体步骤如下：

在实训场景的深度图像中，搜索与仿真灭火器中心位置的距离位于第二预设深度范围内的目标坐标点，生成第二目标轮廓二值图像；

对所述第二目标轮廓二值图像进行平滑处理，选择满足面积要求且面积最大的轮廓，作为仿真灭火器的轮廓二值图像；

根据彩色图像上像素点与深度图像上三维坐标点的一一对应关系，获取仿真灭火器的轮廓二值图像在彩色图像上的对应目标区域，并基于仿真灭火器的喷头颜色在目标区域内筛选出仿真灭火器喷头图像；

根据彩色图像上像素点与深度图像上三维坐标点的一一对应关系，获得仿真灭火器喷头中心位置的三维坐标；

将仿真灭火器喷头中心位置与仿真灭火器中心位置之间的连线定义为z1轴，将互相垂直且与z1轴也垂直的两轴分别定义为x1轴和y1轴；

实时计算出仿真灭火器喷头中心位置相对于z1轴在x1轴左右方向和y1轴上下方向上的实际偏移量Δx1和Δy1，完成仿真灭火器喷头实时追踪测量。