[发明专利]一种基于多目立体视觉的飞机零件的三维重建方法

说明书

本发明公开了一种基于多目立体视觉的飞机零件的三维重建方法，包括：基于多目立体视觉采集托盘和多飞机零件的图像，对托盘和多飞机零件进行整体建模，得到三维模型；与此同时，对采集的二维图像进行复杂背景的图像分割和数据采集；基于二维分割图像和三维模型进行三维模型的分割，完成每个三维零件的获取和空间坐标的定位。本发明可有效的解决全自动化飞机零件喷涂的零件识别工作，为后续零件模型库中匹配及喷涂轨迹提取及机械手臂定位提供了全部的支撑。

技术领域

本发明涉及三维重建技术领域，具体涉及一种基于多目立体视觉的飞机零件的三维重建方法。

背景技术

根据实际生产线了解，当下的飞机零件喷涂产业都还是基于人工喷涂的流水线，通过人工识别进行摆件、喷涂、翻面来进行。为实现飞机零件喷涂的全自动化生产，设计并开发通过机器视觉的方法实现零件识别和针对每个零件用机械手臂完成特定喷涂轨迹的作业。

1.三维重建技术

随着计算机视觉的不断发展，推动了三维重建技术的不断革新。三维重建技术主要是通过视觉传感器来获取外界的真实信息，然后通过信息处理技术或者投影模型得到物体的三维信息。根据获取数据的信息的方法，1997年Varady等人将三维重建又分为接触式和非接触式，接触式是根据仪器直接测量三维数据，可以获取精确数据但场景限制大且效率低，常见的主要方法有CMMs,Robotics Arms等。2005年Isgro等人将非接触式方法又分为主动视觉法和被动视觉法，主动视觉法是直接利用光学原理对场景或对象进行光学扫描，然后通过分析扫描得到数据点云从而实现三维重建，可以获取到物体表面大量细节，精度较高，不足在于成本较高、操作不便，方法主要包括激光扫描法、kinect、结构光法和阴影法等；基于被动视觉的三维重建技术就是通过分析图像序列中的各种信息，对物体的建模进行逆向工程，从而得到场景或场景中物体的三维模型，这种方法并不直接控制光源、对光照要求不高、成本低廉，适用于各个各种复杂场景的三维重建；根据相机数目的不同，被动视觉法又分为单目立体视觉、双目立体视觉和多目立体视觉。单目立体视觉即使用一台相机进行三维重建的方法，通过前后图像的对比，在进行相机标定的基础上，进行特征提取和特征匹配，然后通过三维重建方法完成重建流程；该技术主要包括X恢复形状法、运动恢复结构法和统计学习法。双目立体视觉技术的工作原理来源于人类的双目视觉系统，也就是从不同的视角通过两个相同相机捕获同一个位置下的左右两侧图像，然后再利用三角测量原理获取物体的深度信息，通过这些深度信息重建出物体的三维模型，整个流程包括图像获取、相机标定、图像校正、特征提取和立体匹配、三维重建及优化；由于双目立体视觉技术只能从两个视角获取空间物体，在成像过程中一些有用的三维信息由于投影而丢失，使重建效果不完全。基于此后续又有了基于多目立体视觉的研究，在双目视觉的基础上，增加一或多台相机作为辅助测量，从而获得不同角度下同一物体的多对图像，其最关键的问题在于依据人眼视差的图像匹配问题。目前，很多学者在多目视觉中对相机标定以及立体图像对的匹配算法进行了大量研究，2000年中科院雷成博士研发出了CVSuit软件实现相机的自标定、特征点提取和模型的三维可视化等功能，2006年Snavely和Seitz利用网上大量关于罗马不同地点视角的图片，提出了逐渐增加图片的运动与结构重建的理论，并在电脑上实现了罗马城的三维重建；2007年华中科技大学的张宏在VC6.0++环境下实现了包括立体像对的相对定向、立体匹配及视差图的处理大的三维重构系统，2009年Angst和Pollefeys提出了一种新的基于多摄像机的运动结构恢复方法，可以避免测量矩阵构建过程中不同摄像机之间特征点对应的过程，通过分解低秩矩阵，可以在重建物体三维结构的同时，实现多摄像机一次标定；2013年武汉工程大学提出了一套8个直线分布的工业摄像机构成的三维重建方法；2015年武汉大学提出了基于多目立体视觉的三维全自动建模，提出了包围盒算法与点云曲率特征相结合的点云精简算法。