[发明专利]一种基于深度视觉的人机协作安全预警方法及系统

权利要求书

1.一种基于深度视觉的人机协作安全预警方法，其特征在于：

实时采集机器人生产环境区域的图像，得到图像序列；

利用训练好的YOLOV5网络模型实时处理所述图像序列，定位图像中所有行人并标记；

计算定位且标记后的所有行人与所述机器人的相对距离；

将所述相对距离与设定的安全防护等级距离进行比较，根据比较结果发出不同等级的预警信号。

2.根据权利要求1所述的一种基于深度视觉的人机协作安全预警方法，其特征在于：

还包括根据所述比较结果确定是否驱动机器人控制系统控制机器人做出运动规避动作；

若否，则只根据所述比较结果发出不同等级的预警信号；若是，则根据比较结果发出不同等级预警信号的同时，驱动机器人做出运动规避动作，避免机器人与行人发生碰撞。

3.根据权利要求1所述的一种基于深度视觉的人机协作安全预警方法，其特征在于，所述YOLOV5网络模型的训练包括对数据集的预处理，所述预处理包括：

所述YOLOV5网络模型的训练包括对数据集的预处理，所述预处理包括：

利用Mosaic对所述图像序列的数据进行增强，得到增强后的图像；

利用自适应锚框算法处理所述增强后的图像，得到具有最佳锚框值的图像；

利用自适应图片缩放算法对所述具有最佳锚框值的图像进行缩放，得到预处理图像。

4.根据权利要求1所述的一种基于深度视觉的人机协作安全预警方法，其特征在于：

利用所述YOLOV5网络模型的Backbone部分处理所述图像序列，获取图像特征；

利用所述YOLOV5网络模型的Neck部分对所述图像特征进行混合和组合，得到混合和组合后的图像特征；

利用所述YOLOV5网络模型的Head部分对所述混合和组合后的图像特征进行预测，定位生成所有行人的边界框，并将所述边界框显示在原图片上。

5.根据权利要求4所述的一种基于深度视觉的人机协作安全预警方法，其特征在于，所述定位生成所有行人的边界框时利用GIOU_Loss函数解决边界框不重合的问题，所述GIOU_Loss函数如下所示：

其中，IOU为交并比，表示预测框与真实框的交集与并集的比值，C表示预测框与真实框的最小外接矩形面积，Δ＝B-C，B表示预测框与真实框的并集。

6.根据权利要求1所述的一种基于深度视觉的人机协作安全预警方法，其特征在于，所述利用训练好的行人检测网络模型实时处理所述图像序列，定位图像中所有行人并标记包括：

对图像中所有行人进行定位，得到输出数据(x,y,w,h,c)，其中x,y分别表示行人预测框在图像坐标系上x轴上的坐标值和y轴上的坐标值，w，h分别表示行人预测框的宽和高，c表示行人预测框的置信度；

对图像中所有行人进行标记，将所述行人预测框以及置信度显示在原图片上。

7.根据权利要求1所述的一种基于深度视觉的人机协作安全预警方法，其特征在于，所述计算定位且标记后的所有行人与所述机器人的相对距离包括：

利用双目测距基本原理计算定位且标记后的所有行人与所述机器人的相对距离，所述双目测距基本原理的计算公式如下：

其中，f表示相机焦距，通过相机标定得到，B表示相机中心距离，通过相机标定得到，X_L-X_R表示目标点在相机左右两幅视图上的成像视差。

8.一种基于深度视觉的人机协作安全预警系统，其特征在于，包括：

图像采集模块，用于实时采集机器人生产环境区域的图像，得到图像序列；

行人检测模块，用于利用训练好的YOLOV5网络模型实时处理所述图像序列，定位图像中所有行人并标记；

深度测距模块，用于计算定位且标记后的所有行人与所述机器人的相对距离；

安全预警模块，用于将所述相对距离与设定的安全防护等级距离进行比较，根据比较结果发出不同等级的预警信号。