[发明专利]一种视觉与电气联合的端子接线检测方法

权利要求书

1.一种视觉与电气联合的端子接线检测方法，其特征在于，包括：

图像预处理步骤，获取待检测图像，对所述待检测图像进行预处理，获得预处理图像；

字符检测与识别步骤，以所述预处理图像作为字符检测与识别深度学习模型的输入，获取一一对应的位置信息和字符信息；

字符匹配步骤，从所述字符信息提取相互匹配的端子固定标号和线端标号；

实例分割步骤，以所述预处理图像作为实例分割深度学习模型的输入，获得实例分割结果，所述实例分割结果包括各类接线规范性类别及其置信度；

位置标记步骤，基于所述实例分割结果及所述端子特征标号，匹配获得端子特征标记，所述端子特征标记包括线端标记和匿名标记；

阻值测量步骤，测量所有线端标记间有配对关系的两个线端标记间的阻值，并测量所有匿名标记中两两匿名标记间的阻值；

检测步骤，根据所述阻值及所述实例分割结果获取最终检测结果。

2.根据权利要求1所述的视觉与电气联合的端子接线检测方法，其特征在于，所述预处理具体为：

首先将待检测图像的RGB三个通道进行归一化处理，然后将图像的w、h向上扩充至设定长度，最后将图像转为张量形式，获得所述预处理图像。

3.根据权利要求1所述的视觉与电气联合的端子接线检测方法，其特征在于，所述字符检测与识别深度学习模型包括：

用于对预处理图像进行特征图提取的主干网络；

基于提取到的所述特征图得到字符检测框的位置信息的字符检测网络；

基于字符检测框的位置信息裁剪出特征图中对应位置的字符特征信息，基于所述字符特征信息得到对应位置的字符的字符识别网络。

4.根据权利要求1所述的视觉与电气联合的端子接线检测方法，其特征在于，所述字符匹配步骤具体包括：

从字符信息中匹配符合端子标号规则的信息，将其从字符信息中寻找出来作为端子固定标号，并取出其位置信息；

从字符信息中寻找符合线端标号规则的信息，作为线端标号，并取出其位置信息；

遍历所有线端标号，根据所述位置信息寻找与其距离最短的端子固定标号，作为匹配信息保存。

5.根据权利要求4所述的视觉与电气联合的端子接线检测方法，其特征在于，若线端标号匹配的端子固定标号间的距离大于最短距离阈值，则放弃当前端子固定标号间。

6.根据权利要求1所述的视觉与电气联合的端子接线检测方法，其特征在于，所述实例分割深度学习模型包括：

用于对预处理图像进行特征图提取的主干网络，所述特征图为多个不同尺度的特征图；

对所述多个不同尺度的特征图进行不同层次间的信息融合的FPN融合网络，融合获得多个不同大小的特征图；

基于所述多个不同大小的特征图得到多个不同阶段的实例类别预测输出的实例类别预测网络；

基于所述多个不同大小的特征图得到多个不同阶段的实例mask掩膜输出的Mask掩膜预测网络；

一一对应所述实例类别预测输出和实例mask掩膜输出，综合输出实例分割结果的输出网络。

7.根据权利要求6所述的视觉与电气联合的端子接线检测方法，其特征在于，所述匹配获得端子特征标记具体为：

检测所有实例mask掩膜输出中的线端位置，寻找距离线端最近的端子固定标号，匹配计数；

遍历当前实例mask掩膜输出匹配到的端子固定标号，若其配对的线端标号数目N小于当前匹配的mask线端数目M，对当前端子固定标号增加M-N个匿名标记。

8.根据权利要求6所述的视觉与电气联合的端子接线检测方法，其特征在于，所述输出实例分割结果时，若置信度低于设定阈值，则删除对应的实例分割结果。

9.根据权利要求1所述的视觉与电气联合的端子接线检测方法，其特征在于，通过继电器阵列对阻值进行测量，具体为：闭合标记对应的继电器开关，测量两个标记之间的阻值。

10.根据权利要求1所述的视觉与电气联合的端子接线检测方法，其特征在于，所述阻值测量步骤中，遍历所有线端标记，若不存在配对标记，将该标记加入匿名标记。