[发明专利]一种计算机视觉和增强现实眼镜辅助的航空导线插头装配方法与系统

权利要求书

1.一种基于计算机视觉和增强现实眼镜辅助的航空导线插头装配方法与系统，其特征在于，该方法包含：

S1、启动工业相机并初始化，在现场场景下捕获航空导线的图像；

S2、判断航空导线在工业相机下的成像质量；

S3、对于成像质量好的航空导线图像，送入导线编号检测识别模块识别复杂工业场景图像下的导线编号内容；

S4、对于工业相机难以拍摄清晰和成像质量差的航空导线，通过语音识别模块识别导线编号内容；

S5、根据识别的导线编号内容，在数据库中检索该航空导线在航空插头上对应的安装孔位，根据检索结果在增强现实眼镜上展示航空插头的型谱图，可视化指导航空导线在航空插头上的安装位置；

S6、重复执行步骤S1-S5完成该航空插头与航空导线的装配操作；

S7、启动增强现实眼镜的相机并初始化，采集该航空插头的插头正面的图像；

S8、将拍摄的航空插头图像送入插头孔位检测模块，检测复杂工业场景图像中的航空插头、插头孔位和防错销钉，根据识别的防错销钉的阵列特征对识别的插头孔位进行多目标排序并编号，判别每个插头孔位中是否安装航空导线，识别航空插头的真实安装状态；

S9、航空插头的真实安装状态匹配数据库中存储的航空插头的安装状态，判别二者是否保持一致，在增强现实眼镜上可视化展示航空插头的安装检验结果。

2.如权利要求1所述的一种基于计算机视觉和增强现实眼镜辅助的航空导线插头装配方法与系统，其特征在于，所述S3步骤中的导线编号检测识别模块包括：

S31、采集复杂工业场景下的航空导线的图像制作数据集，训练基于实例分割网络的导线编号检测算法，检测图像中航空导线的编号区域，输出导线编号在图像中所对应的预测编号框；

S32、矫正导线编号的预测编号框，预测编号框的面积向外部扩张2-3倍获得扩展编号框，旋转扩展编号框所包围的倾斜导线编号使其平行于水平方向，从航空导线图像中将旋转后的扩展编号框裁剪下来，针对扩展编号框中的导线编号分别进行水平像素投影和竖直像素投影，根据像素投影的区段以及起始波谷细化导线编号在图像中的位置，得到矫正编号框；

S33、对矫正编号框中的导线编号图像进行像素填充策略，在导线编号图像的两侧填充空值的像素边界，将边界填充后的导线编号图像送入基于深度神经网络的导线编号识别算法，输出航空导线的导线编号内容。

3.如权利要求1所述的一种基于计算机视觉和增强现实眼镜辅助的航空导线插头装配方法与系统，其特征在于：所述S5步骤中的航空插头的型谱图上方显示航空导线的导线编号内容，型谱图中高亮显示该航空导线对应的安装孔位。

4.如权利要求1所述的一种基于计算机视觉和增强现实眼镜辅助的航空导线插头装配方法与系统，其特征在于：所述S9步骤中的航空插头的安装检验结果包括两种情况，一是航空导线错误装配到航空插头的插头孔位，二是航空导线未安装到航空插头的插头孔位，在航空插头型谱图中高亮显示错装孔位与漏装孔位。