[发明专利]输送机皮带检测方法、装置、系统、电子设备及介质

权利要求书

1.一种输送机皮带检测方法，其特征在于，包括：对输送机皮带分别采集三维点云数据和二维图像；对所述三维点云数据构建三维点云模型，根据所述三维点云模型检测存在缺陷时，生成并保存第一类缺陷结果；对所述二维图像进行图像识别，得到二维图像识别结果，根据所述二维图像识别结果判定存在裂纹缺陷时，生成并保存第二类缺陷结果；

所述采集三维点云数据，包括：对输送机皮带采集二维图像，并进行图像预处理，对预处理得到的图像进行光条中心线提取，并通过计算将三维坐标保存为三维点云数据；

所述对所述二维图像进行图像识别，得到二维图像识别结果，包括：对采集到的二维图像进行预处理，并对预处理后的二维图像进行图像识别，得到二维图像识别结果；所述对采集到的二维图像进行预处理，包括：对二维图像进行去噪、亮度均匀化处理，以此消除皮带区域外的背景及噪声干扰；所述对预处理后的二维图像进行图像识别，得到二维图像识别结果，包括：对预处理得到的图像进行阈值分割，统计分割区域的几何特征，根据几何特征采用预设的深度卷积神经网络对缺陷进行识别，以此完成二维图像的图像识别；所述预设的深度卷积神经网络为YOLO-v3网络；根据二维图像得到皮带图像正样本和皮带图像负样本，用皮带图像正样本和皮带图像负样本训练卷积神经网络模型，利用训练成功的卷积神经网络模型对预处理后的二维图像进行缺陷实时检测，得到正常皮带和缺陷皮带；若二维图像的尺寸大小为446*446*3，其中3表示图像有R、G、B三个颜色通道，二维图像经过YOLO-v3网络之后的输出图像有三种尺度，分别为y1、y2、y3，对应的尺寸分别为13*13、26*26和52*52，也即为降32倍采样、降16倍采样和降8倍采样；将输入的图像划分为s*s个相同大小的单元格，每个单元格只负责检测中心点属于网格的目标对象，利用卷积层将特征提取出来，便于正确识别目标；一个单元格需要与锚点的预测框相结合预测目标的位置，并且一个单元格往往需要多个预测框来对缺陷位置进行预测；采用置信度来描述预测框含有目标的可信度，当单元格中包含缺陷检测目标时，将交并比作为置信度输出，即采用交并比来衡量预测区域的准确度，其计算公式为：；其中，A和B分别表示设备缺陷的实际区域和预测区域的面积，交并比即为预测区域和实际区域的交集与其并集的比值；

YOLO-v3网络具有9个锚点，9个anchor按照大小每3个为一组，共分为3组，3组anchor分别对应三个尺度，YOLO-v3网络结构的每个单元格需要输出3个预测框，每个预测框输出都要包含基本位置信息(tx，ty，tw，th)和置信度信息；YOLO-v3网络在应用时会去除置信得分较低的预测框，保留置信得分较高的预测框，以下为预测框输出的五个信息要素的计算公式

bx＝σ(tx)+cx

by＝σ(ty)+cy

Pr(object)*IoU(b,object)＝σ(t0)

其中，(bx，by，bw，bh)是预测框的位置信息坐标，其中(bx，by)表示预测框中心点的坐标，(bw，bh)分别表示预测框的宽和高，σ(tx)和σ(ty)是预测框中心点相对于所在网络左上角的距离，tw与th分别表示预测锚框与实际锚框的大小偏差，σ(t0)是预测框的置信度，Pr(object)表示网络中是否存在目标，IoU(b,object)表示预测框和真实目标位置的交并比；在对锚框进行学习过程中，将置信度较低的锚框直接筛选掉，保留置信度高于0.5的锚框，经过上述的预测框检测后会得到过多的锚框，利用极大值抑制的方法对重复锚框进行消除；首先对置信度过低的预测框进行抑制，其次将剩余的锚框按照缺陷类别进行分类，对同一类别的缺陷选择置信度高的进行处理，然后对剩余未被抑制的锚框重复上述操作，直至循环结束，最终得到预测缺陷目标的锚框；对所获得的图像通过筛选后，将其分为有缺陷的正样本，无缺陷的负样本，筛选完毕对正样本图像数据进行标注，生成图像标签文件，负样本的图像只需创建一个同名的空tex文件即可，然后利用图像标签检测工具对生成的图像标签进行检测，修改有误的标签文件，最终完成皮带缺陷数据集的建立。