[发明专利]一种基于多目立体视觉的飞机零件的三维重建方法

权利要求书

1.一种基于多目立体视觉的飞机零件的三维重建方法，其特征在于，包括：

基于多目立体视觉采集托盘和多飞机零件的图像，对托盘和多飞机零件进行整体建模，得到三维模型；与此同时，对采集的二维图像进行复杂背景的图像分割和数据采集；其中，三维模型的建立方法包括：图像获取；特征点提取与匹配；SFM双视角运动恢复结构；BA非线性优化；增量运动恢复结构；稠密重建与点云网格重建；图像分割的方法包括：在图像获取上采用k-means算法和Grab Cut结合的方式编码，针对图像零件和背景颜色相似的情况，采用k-means聚类算法针对RGB通道对图像进行多分类，并获取多图像从而分割目标零件和复杂背景；通过自动聚类后，针对显现出来的图像差异，进行图像的Grab Cut分割，在进行Grab Cut分割之前，要确定编辑分割区域，采用固定边界大小的方式进行分割；零件边缘及参数提取的方法包括：读取图像，形态学处理；针对上步的结果进行中值滤波和blur滤波；针对上步优化后的图像进行Canny边缘检测；通过findContours()和drawContours()寻找并绘制最外层轮廓；定义minAreaRect()绘制最小外接矩，并获取每条边的长；同时统计轮廓个数；通过contourArea()、arcLength()计算每个零件周长及面积；调用RotatedRect的API获取每个零件的质心及相对旋转角度；

基于二维分割图像和三维模型进行三维模型的分割，完成每个三维零件的获取和空间坐标的定位；具体包括：对三维模型进行点云去噪；基于包围盒对三维模型进行归一化处理，确定空间坐标，这一步之后保证三维模型的旋转、平移、缩放/扩大不变性，并确定空间的原点坐标；对包围盒中的模型进行深度投影；基于深度投影图像和二维分割图像进行映射，并旋转，缩放/扩大二维分割图像，同时调整二维分割图像中每个零件的质心坐标；根据上步调整后的三维分割图像进行三维模型的分割面的确定及分割；空间坐标的确定。

2.如权利要求1所述的基于多目立体视觉的飞机零件的三维重建方法，其特征在于，在所述图像获取中，相机的布局为：

托盘规则是1800mm×900mm的长方形，设计椭圆状导轨于距平台水平500mm，高度500mm及视角俯45°角位置，于四个角处各放置一个，长边中心处各一个，共计6个相机，以托盘中心为原点，相机分别位于每60°角射线上，以6个角度覆盖整个区域；

与此同时，分别在每个相机相邻右侧以原点出发20°角处射线上的导轨位置处设定下一目标点，继续在此位置上，再往下20°作为下一目标运动点；

与此同时，设计在托盘中心上方放置覆盖零件托盘的视野的相机一台，进行俯视二维图像的获取，用于后续二维图像的分割操作。