[发明专利]基于计算机视觉的输送机异常检测方法及系统

权利要求书

1.基于计算机视觉的输送机异常检测方法，其特征在于，该方法包括以下步骤：

采集传送带的实时图像，所述实时图像包括传送带和通过所述传送带运输的物料；

检测出所述实时图像的传送带边缘，获取传送带区域内目标物料的包围框；

通过所述传送带边缘的抖动变化获得所述传送带的抖动区域；当所述抖动区域为所述传送带的整体区域时，对所述传送带所在的输送机进行内部异常检测；

当所述抖动区域为所述传送带的局部区域时，对每个所述抖动区域根据所述包围框判断所述物料是否存在掉落风险，并获取存在掉落风险的异常区域；

对所述异常区域内的所述目标物料生成三维点云数据，以所述三维点云数据中预设二维平面的深度变化作为偏移量；以所述预设二维平面的旋转角度作为偏移角度；

当所述偏移量与对应的所述偏移角度都大于相应的偏移阈值时，根据所述偏移角度的偏移方向对所述传送带的异常点进行定位。

2.根据权利要求1所述的基于计算机视觉的输送机异常检测方法，其特征在于，所述抖动区域的获取方法为：

获取传送带边缘图像，通过计算连续多帧所述传送带边缘图像中传送带边缘的深度信息的变化得到抖动程度，遍历所述传送带，获得所述抖动程度大于抖动阈值对应的区域，作为所述抖动区域。

3.根据权利要求1所述的基于计算机视觉的输送机异常检测方法，其特征在于，所述存在掉落风险的判断方法为：

获取包括所述包围框与所述传送带边缘的第一图像，通过计算连续多帧所述第一图像中所述包围框的角点与所述传送带边缘的垂直距离判断所述物料是否有掉落风险。

4.根据权利要求1所述的基于计算机视觉的输送机异常检测方法，其特征在于，所述异常区域的获取方法为：

当所述物料存在掉落风险时，以存在掉落风险的所述抖动区域作为所述异常区域。

5.根据权利要求1所述的基于计算机视觉的输送机异常检测方法，其特征在于，所述预设二维平面的获取方法为：

提取出现偏移的初始帧图像中的初始三维点云数据，对所述初始三维点云数据中深度值最小的像素点赋予初始热力值，并对处于同一深度平面的所述包围框中的像素赋予所述初始热力值，将所述初始热力值对应的像素点进行连通组成所述预设二维平面。

6.根据权利要求5所述的基于计算机视觉的输送机异常检测方法，其特征在于，所述预设二维平面的获取方法还包括：

当所述深度值最小的像素点只有一个时，将该像素点作为平面中心点扩充出一个二维平面作为所述预设二维平面。

7.根据权利要求5所述的基于计算机视觉的输送机异常检测方法，其特征在于，所述偏移量的获取方法为：

令所述初始热力值根据帧数变化衰减，根据所述初始热力值的衰减追踪所述预设二维平面的位置变化，得到相邻帧所述实时图像中所述预设二维平面的深度值差异，作为所述偏移量。

8.根据权利要求1所述的基于计算机视觉的输送机异常检测方法，其特征在于，所述偏移角度的获取方法为：

获取所述偏移量对应的所述预设二维平面的法向量，将所述法向量映射在同一坐标系，得到所述法向量之间的夹角作为所述偏移角度。

9.基于计算机视觉的输送机异常检测系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1~8任意一项所述基于计算机视觉的输送机异常检测方法的步骤。