[发明专利]一种计算机视觉和增强现实眼镜辅助的航空导线插头装配方法与系统

说明书

本发明公开了一种计算机视觉和增强现实眼镜辅助的航空导线插头装配方法与系统，包括以下步骤：工业相机在现场场景下捕获航空导线图像，对于成像质量好的图像，采用视觉导线编号检测识别模块识别导线编号内容，对于成像质量差的图像，采用语音识别技术识别导线编号内容，根据识别的编号内容在增强现实眼镜上可视化展示导线插头的装配过程，导线插头安装完成后，采集航空插头图像进行插头孔位识别与编号，检验航空插头的安装状态并可视化展示插头的装配校验结果。该计算机视觉和增强现实眼镜辅助的航空导线插头装配方法与系统设计合理，可视化效果直观，提高了航空导线插头的装配效率。

技术领域

本发明涉及飞机制造智能装配领域，尤其涉及一种计算机视觉和增强现实眼镜辅助的航空导线插头装配方法与系统。

背景技术

在飞机制造中，飞机装配成本和装配工作量约占全机成本与工作量的一半，飞机装配中航空导线插头装配占有较大比重，航空导线插头主要用来连接不同设备之间的电气通信，飞机上航空导线和航空插头种类和数量繁多，每一种航空插头有其独立的安装状态结果。传统的导线插头安装过程中采用手工安装的方法，过程为任取一根导线进行人工识别，然后查找该导线编号对应的航空插头及该航空导线在航空插头上的孔位信息，将导线从航空插头背面安装至航空插头的孔位内中，并对安装完成后的航空插头的孔位装配结果进行检测。该过程繁琐复杂、效率低下，并且容易发生航空导线错装、漏装在航空插头的孔位中，难以适应飞机批量的快速生产需求。

发明内容

本发明提供了一种计算机视觉和增强现实眼镜辅助的航空导线插头装配方法与系统。

为了实现上述目的，本发明采用了如下工作流程：

S1、启动工业相机并初始化，在现场场景下捕获航空导线的图像。

S2、判断航空导线在工业相机下的成像质量。

S3、对于成像质量好的航空导线图像，送入导线编号检测识别模块识别复杂工业场景图像下的导线编号内容。

S4、对于工业相机难以拍摄清晰和成像质量差的航空导线，通过语音识别模块识别导线编号内容。

S5、根据识别的导线编号内容，在数据库中检索该航空导线在航空插头上对应的安装孔位，根据检索结果在增强现实眼镜上展示航空插头的型谱图，可视化指导航空导线在航空插头上的安装位置。

S6、重复执行步骤S1-S5完成该航空插头与航空导线的装配操作。

S7、启动增强现实眼镜的相机并初始化，采集该航空插头的插头正面的图像。

S8、将拍摄的航空插头图像送入插头孔位检测模块，检测复杂工业场景图像中的航空插头、插头孔位和防错销钉，根据识别的防错销钉的阵列特征对识别的插头孔位进行多目标排序并编号，判别每个插头孔位中是否安装航空导线，识别航空插头的真实安装状态。

S9、航空插头的真实安装状态匹配数据库中存储的航空插头的安装状态，判别二者是否保持一致，在增强现实眼镜上可视化展示航空插头的安装检验结果。

优选地，所述S3步骤中的导线编号检测识别模块包括：

S31、采集复杂工业场景下的航空导线的图像制作数据集，训练基于实例分割网络的导线编号检测算法，检测图像中航空导线的编号区域，输出导线编号在图像中所对应的预测编号框。

S32、矫正导线编号的预测编号框，预测编号框的面积向外部扩张2-3倍获得扩展编号框，旋转扩展编号框所包围的倾斜导线编号使其平行于水平方向，从航空导线图像中将旋转后的扩展编号框裁剪下来，针对扩展编号框中的导线编号分别进行水平像素投影和竖直像素投影，根据像素投影的区段以及起始波谷细化导线编号在图像中的位置，得到矫正编号框。