[发明专利]基于线结构光与多任务级联卷积神经网络的三维涂胶检测

说明书

本发明提供了一种基于线结构光与多任务级联卷积神经网络的三维涂胶检测方法，该方法包括：系统标定，图像采集；运用级联结构的多层卷积神经网络，对涂胶区域和关键点进行粗定位；运用多目标优化模型对胶体关键点的粗定位坐标进行纠正；在左右图像上反复迭代得到关键点的精确定位；匹配左右相机中图像的关键点，计算关键点的三维坐标；计算涂胶的宽度、高度信息。本发明能明显检测出不同涂胶的宽度、高度信息。

技术领域

本发明涉及视觉检测和卷积神经网络，特别涉及三维涂胶宽度和高度的检测方法。

背景技术

制造业的发展水平反映着一个国家的经济水平与科技水平，机器人技术与视觉检测技术作为智能制造的典型代表，其开发与研究越来越受到政府、企业以及各研究机构的重视。由于工业机器人具有高效、持久、速度快、准确性高等优势。同时随着胶粘技术的提升以及涂胶材料的改进，胶体的机械强度、密封性、隔热、防锈以及其重量轻的优势越来越突出，涂胶机器人的应用领域不断扩展，已经成为汽车生产、航空航天、轨道交通、国防科技、医疗设备制造等各个领域的材料连接、密封的重要技术手段。随着越来越多的高科技精密设备对机器人涂胶的使用，涂胶检测问题逐渐进入人们的视线。

涂胶检测的准确度和精度以及检测的时间是涂胶检测的关键点，目前传统的基于机器视觉的涂胶检测只能检测涂胶位置是否正确，以及有无涂胶，无法对涂胶处进行定量分析并且对于形状复杂的工件无法进行涂胶质量的整体形状评估。限制三维涂胶检测的技术要点主要集中在测量精度与测量速度两个方面，如何能够在保证测量精度的同时尽可能的提升检测速度是当前研究工业机器人三维涂胶的关键。

综上所述，目前迫切需要提出一种测量精度和测量速度性能均较强地三维涂胶检测方法。

发明内容

有鉴于此，本发明的主要目的在于实现三维涂胶的有效检测，且测量精度和测量速度性能均较强。

为达到上述目的，本发明提供了一种基于线结构光与多任务级联卷积神经网络的三维涂胶检测方法，该方法包括：

第一步骤，系统标定，图像采集；

第二步骤，关键点和胶区的粗略定位；

第三步骤，关键点纠正；

第四步骤，关键点迭代优化；

第五步骤，三维恢复；

第六步骤，计算涂胶的宽度和高度；

所述第二步骤进一步包括：

利用三层级联卷积神经网络对结构光光带中的胶体区域，以及胶体顶点、左端点、右端点、底部左端点、底部右端点五个关键点进行粗定位，其中该三层卷积神经网络分别为P-net，R-net，O-net。

所述第三步骤进一步包括：

关键点纠正，纠正关键点的粗定位坐标，假设纠正后的关键点坐标是K(x，y)，建立多目标优化模型的目标函数。

公式MinD_k-l、中，表示点K(x，y)与本图中粗定位关键点之间的距离；计算出另一图像中对应的粗定位关键点的极线，D_k-l表示点K(x，y)与此极线之间的距离；表示点K(x，y)与本图中以粗定位关键点为中心的3×H_l像素块内的灰度质心的距离。建立多目标优化的目标函数用来最小化D_k-l和因此，我们通过公式计算最大最小化模型下的最优结果，从而求出纠正的关键点坐标K(x，y)，其中I_width和I_Height分别为图像的宽度和高度。

所述第四步骤进一步包括：