[发明专利]一种基于超像素的目标重建方法

说明书

本发明提供一种基于超像素的目标重建方法，该方法由从运动到结构的投影矩阵估计、超像素下多视图立体视觉匹配以及深度图的合成与融合组成,具体流程包括六大步骤，步骤一：读入图像序列，利用运动到结构方法SFM估计相机投影矩阵；步骤二：对图像对进行超像素分割；步骤三：为每个超像素计算可能的深度值；步骤四：利用MRF模型选择超像素的最优深度值；步骤五：建立多尺度超像素框架；步骤六：深度图融合与表面网格化。本发明克服了基于超像素的立体视觉匹配精度不足的缺点，并利用其对噪声与亮度偏差鲁棒性强、能够准确提供目标轮廓信息以及计算复杂度小的优点，针对纹理区域及无纹理区域均可实现较好的重建结果，普适性强，具有广阔的应用背景。

技术领域

本发明涉及一种基于超像素的目标重建方法，针对具有复杂细节表面的物体、非漫反射表面的物体以及具有高光区域表面的物体均具有较好的重建效果，属于计算机视觉领域。

背景技术

无人机是一种由机载设备程序控制或人为遥控的不载人飞行器，可携带各种设备执行任务。随着无人机技术的飞速发展，其应用领域也更加广泛。其中，由无人机拍摄图像序列来进行目标检测并对它进行三维重建是研究中的重点也是难点。

三维重建的本质概括来说是通过一定的技术手段获取三维信息，这些技术手段通常分为以下三种类型：主动距离获取重建方法，计算机图形学类方法，以及基于序列图像的计算机视觉类方法。

主动距离获取重建方法利用激光、结构光或红外深度传感器来直接获取待重建物体的深度信息，然后运用距离数据归并技术将各个深度图整合为一致的3D表面。其中最近提出的一种是利用Kinect设备的方法，该方法利用Kinect的红外传感器获得目标深度图，然后直接对深度图进行融合。这类方法具有较高的建模精度，建模方法简单且效率较高，适用于对精度要求高的重建任务，但是采用的设备昂贵且不能很好完成较大物体的重建。

计算机图形学类方法利用优秀的建模软件，例如AutoCAD、3DSMAX等来创建三维模型。该类方法使用长方体、椭球体等基本集合图形通过一系列复杂操作来构建模型。其缺点在于重建操作复杂，需要训练有素的专业人员与充分准确的重建目标数据，同时建模周期较长、成本较高。

基于序列图像的计算机视觉类重建方法从包含重建目标的序列图像中恢复物体的几何结构。该方法通过自动化的复杂重建算法减少了人工参与从而减轻了人工劳动强度。同时该方法所需的数据可通过普通数码相机采集，使得建模的成本下降并且可用于多种类型场景的重建任务。基于图像重建空间实体目标或场景是计算机视觉中一个重要的研究分支。空间实体表面纹理等特征信息通过二维图像反映，对这些信息进行提取和相应的处理即可建立二维图像到三维空间结构的联系，而这一联系可由基于图像的三维重建技术建立。基于图像的三维重建技术从二维图像构建出真实感较强的三维模型，是基于三维场景计算机视觉应用的基础。通过基于图像三维重建获取的模型可以应用于虚拟现实应用，古建筑原貌恢复、文物电子档案保存以及电子游戏产业等方面。

一直以来基于图像获取目标的三维信息就是计算机视觉方向的研究热点，Martin在1983年就提出了利用图像中物体的轮廓进行重建的方法，随后在1986年与1987年Chien与Potsmesi又分别提出了利用正交投影提取目标模型的方法与利用多视图透视投影构建目标模型的方法。本发明研究的方法为利用序列图像对中的立体匹配点信息进行三维重建的方法。同时由于本发明是基于超像素匹配，属于基于分割的立体匹配技术，所以在下面将介绍一下基于分割的立体视觉匹配技术。

在将分割用于匹配之前已经有很多技术试图把图像分割为小块然后在这些分割块上进行进一步的处理，例如Baker利用分割块来计算平面方程，然后利用该平面方程与视差来计算出局部深度值得分布情况。绝大多数情况下相互临近同时又具有相同的颜色与亮度值的像素点很有可能具有非常接近且连续变化的深度，研究者们已经在很多工作中利用这一通过观察得出的结论使用图像的分割块来简化立体视觉匹配问题。