[发明专利]一种基于弱标定多目相机的立体匹配方法、装置及系统

说明书

本发明公开了一种基于弱标定多目相机的立体匹配方法，其中，包括：对第一图像和第二图形进行畸变矫正得到第一畸变矫正图和第二畸变矫正图；对第一畸变矫正图和第二畸变矫正图极线矫正得到第一矫正图和第二矫正图；检测第一矫正图和所述第二矫正图中的所有垂直边缘；检测每条垂直边缘上的角点；将每条垂直边缘以及该条垂直边缘上的角点组合成一个匹配单元；将第一矫正图中的每个匹配单元与第二矫正图中的匹配单元进行匹配；将第二矫正图进行平移、旋转或者缩放；计算目标图像的视差。本发明还公开了一种基于弱标定多目相机的立体匹配装置及系统。本发明提供的一种基于弱标定多目相机的立体匹配方法能够实现对目标图像的快速高精度识别。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于弱标定多目相机的立体匹配方法、一种基于弱标定多目相机的立体匹配装置及包括该基于弱标定多目相机的立体匹配装置的基于弱标定多目相机的立体匹配系统。

背景技术

人类视觉不仅可以分辨出颜色、外形等特征，还能通过双目所看到的不同图像的差别，分辨出物体的深度信息。双目视觉是机器视觉的一个重要形式，它是基于视差原理并利用不同位置的两台摄像装置拍摄同一场景，通过计算空间点在两幅图像中的视差，来获取物体的三维几何信息的方法。融合两只眼获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来。

根据双目视觉原理，一旦获取了空间点的视差，如果能够在图像坐标系中确定两个匹配点，并知道其各自的图像坐标，那么就可以获得空间点的深度信息。

因此，实现深度信息获取的关键是获得空间点在两个图像平面内的一个匹配对，而立体匹配问题则是实现深度获取的关键。

双目立体匹配问题是一个″病态″问题，双目立体匹配实施要考虑诸多因素，并以计算复杂度和稳定性等总体性能指标来衡量方案实施的可行性和有效性。

立体匹配的算法很多，主要有区域匹配算法、特征匹配算法、基于全局约束算法、图割算法和基于人工智能的算法。

区域匹配算法通过固定尺寸窗口进行代价聚集，运算速度快，但在低纹理和深度不连续区域匹配效果差；特征匹配算法只能得到稀疏的视差场，要获得密集的视差场必须通过复杂的差值过程，往往适用于具有特征信息显著的环境中；基于全局约束算法虽然能够通过构建复杂的能量函数模型得到高精度的匹配结果，但计算速度慢，并且对计算机的内存需求较大；图割算法虽然能获得密集的结果，但是容易产生较大的匹配误差。

图1为视差和深度的关系图，由于三角形AABBCC与三角形CCDDEE相似，可得：(xr-xl)/F＝B/z，所以：z＝BF/(xl-xr)，其中xl-xr为视差，B为两个摄像机的基线的距离，F为相机的焦距。

对于第一图像中任意一个点，都要到第二图像中匹配一个点，假设图像的宽高为(W和H)有图的搜索范围为(H*V)，则计算量为W*H*H*V。

通常取值如下：W＝1280；H＝730；H(水平)＝100；V＝5，因此计算量会非常大。

对于不具有典型性的应用环境，运算量和识别精度是一对天然的矛盾，没有算法能够同时在两个方面得到优化。

而且，立体匹配技术被普遍认为是立体视觉中最困难也是最关键的问题，主要是受以下因素的影响：

(1)光学失真和噪声(亮度、色调、饱和度等失衡)

(2)平滑表面的镜面反射

(3)投影缩减(Foreshortening)

(4)透视失真(Perspective distortions)

(5)低纹理(Low texture)

(6)重复纹理(Repetitive/ambiguous patterns)