[发明专利]一种基于特征融合的最小分支立体匹配方法

说明书

本发明公开了一种基于特征融合的最小分支立体匹配方法，能够有效解决弱纹理区域、不连续区域、遮挡区域的误匹配问题，提高立体匹配精度。最小分支结构首次利用梯度信息构建有向图聚合匹配代价，构建最小分支后图像被分割成若干区域，图像被分割成区域的过程不需要设置任何参数，不仅分割过程自然，而且可以有效地区分图像中的纹理区域，提高了立体匹配准确性。基于特征融合的初始匹配代价计算改善了弱纹理区域和不连续区域的误匹配问题，基于四个方向寻找未遮挡点的左右一致性检测，有效改善了遮挡区域的误匹配问题，进一步提高了立体匹配的准确性。

技术领域

本发明属于立体匹配技术领域，涉及一种基于特征融合的最小分支立体匹配方法。

背景技术

立体匹配技术是计算机视觉领域中一个很有价值的热点问题。立体匹配通常包括四个步骤：(1)计算每个像素点的初始匹配代价；(2)基于一个窗口或特殊结构聚合匹配代价；(3)计算视差；(4)视差优化。

立体匹配算法主要可以三类，局部算法、全局算法和半全局算法。局部算法基于特定窗口聚合匹配代价，运行速度快但是精度差。全局算法的出现提高了立体匹配的准确性，然而较慢的实时性限制了它在实际场景中的应用。半全局算法的提出有效地平衡了立体匹配的速度与精度的关系。一种基于非局部代价聚合的半全局算法利用图像中所有像素点的关系，在图像上构建最小生成树结构，经过两次遍历聚合匹配代价，该算法结果优于之前所有的局部算法。一种基于分割树聚合的半全局算法改善了无纹理区域匹配不当的问题，在提高精度的同时运行时间也大幅提高。

半全局算法具有鲁棒性强和对光照影响不敏感的优势，但仍然存在弱纹理区域、不连续区域、遮挡区域的误匹配问题。

发明内容

针对现有技术的不足，本发明提出一种基于特征融合的最小分支立体匹配方法，能够有效解决弱纹理区域、不连续区域、遮挡区域的误匹配问题，提高立体匹配精度。

一种基于特征融合的最小分支立体匹配方法，包括以下步骤：

步骤1、获取待处理图像左图和右图分别作为参考图像和目标图像，对两幅图像做预处理；

步骤2、基于特征融合方法计算两幅预处理后图像的初始匹配代价；具体为：

对两幅图分别进行Census变换和局部二值模式(Local Binary Pattern,LBP)变换，求出相应的初始匹配代价值；

基于颜色特征和梯度特征分别计算相应的初始匹配代价值；

使用归一化函数，将四种匹配代价值融合成最终的初始匹配代价值。

步骤3、基于相邻像素的梯度差，在预处理后的两幅图上构建有向图；

步骤4、在两幅有向图上使用Tarjan算法构建最小树形图，最小树形图构建完成后，图片被分割成若干有根树，每个有根树代表一个区域；具体为：

在左图和右图分别增添一个虚拟节点，从虚拟节点构建有无穷大权重的边到有向图的每个节点；使用Tarjan算法构建最小树形图；最小树形图构建完成后，删除虚拟节点和虚拟节点连接有向图的边。

步骤5、对两幅最小树形图计算相邻区域间的两类连接边，一类边连接相邻两区域的叶子节点，另一类边连接相邻两区域的根节点；

步骤6、将步骤5中所计算的两类边进行升序排列并根据区域连接准则进行判断，若满足条件则连接两区域，若不满足则用有无穷大权重的边连接，最终形成最小分支结构；

步骤7、基于两幅图的最小分支结构进行代价聚合，计算匹配代价；

步骤8、根据WTA策略选择两幅图中每个像素点的最小匹配代价对应的视差值作为该点的视差值，生成左右视差图；