[发明专利]一种计算机视觉的立体匹配算法

说明书

本发明公开了一种计算机视觉的立体匹配算法，基于全连接神经网络和边缘感知视差传播（Edge‑aware Disparity Propagation,EDP）实现，其包括步骤：首先，通过全连接神经网络计算输入立体图像对的初始匹配代价，并利用WTA算法找出对应的视差值，生成初始视差图；然后，进行一致性检测，并采用EDP算法和测地距滤波重构视差不一致区域的匹配代价，获得不一致区域的新的视差值，并将其填充到孔洞视差图中，获得完整的视差图；最后，经过亚像素增强优化生成最终的视差图。实验数值表明，应用本发明该算法能有效降低立体匹配的误匹配率，提高视差图精度，特别是在非闭塞区域有较低的误匹配率。

技术领域

本发明涉及一种基于全连接神经网络和边缘感知视差传播的立体匹配算法，属于计算机视觉的双目立体视觉领域。

背景技术

近年来，立体视觉研究作为计算机视觉最主要的一个分支，应用于众多热门研究领域，如机器人导航、汽车自动驾驶、医学图像诊断与辅助手术等。立体视觉主要分为4个步骤：图像获取、立体校正、立体匹配和三维重建。

其中立体匹配是最重要也是最困难的一个环节。传统的立体匹配算法一般包括以下四个步骤：构造匹配代价、代价聚合、视差值计算、视差图优化。立体匹配算法主要划分为局部匹配算法和全局匹配算法两类：局部匹配算法是通过在一个小的邻域窗口内计算像素的匹配代价，经过代价聚合，最小化代价函数后获得视差值，该方法计算复杂度低，适用于实时的立体匹配任务，但其视差结果受窗口尺寸大小影响较大，精度较低；而全局匹配算法则通过最小化全局能量函数，同时优化所有像素视差值，一般精度较高，但计算复杂度高，适用于精度要求较高的立体匹配任务，图割法，置信传播算法，动态规划等都是常见的高效的全局立体匹配算法。

显然，以上两种方法都是通过优化代价函数的方法来计算最优视差。2014年，K.Zhang等人实现了局部立体匹配方法的程序框架，并提出多尺度代价聚合方法。随着深度学习的发展，2015年，N.Mayer提出将卷积神经网络应用于立体匹配任务，并为其命名为DispNet,同年LeCun等提出了一种基于卷积神经网络进行匹配代价计算的网络结构。这种利用神经网络对立体匹配问题进行建模，以图像为输入，从而避免了人为设计特征，构造代价函数的工作量，在有效提高精度的同时，大大缩短了运算时间，提高了运算效率。但其同时也存在需要大量数据进行训练来提高进度等缺点。受场景中光照变化、噪声等问题的影响，几乎所有算法生成的初始视差图都会引入错误的视差值，尤其在视差不连续区域、弱纹理区域、遮挡区域更容易发生误匹配。神经网络中的卷积层和全连接层在进行特征采集和映射时也会丢失部分图像边缘信息。

如何既能保持基于神经网络匹配算法的高精度和高计算速度，同时有效提高匹配精度，保留图像边缘信息。本发明提出了基于全卷积神经网络和边缘感知视差传播(Edge-aware Disparity Propagation,EDP)的立体匹配算法，利用全连接神经网络提取每个像素点的匹配代价，由“胜者为王(Winner Takes All,WTA)”策略获得初始视差图，再通过EDP算法对一致性检测中的不一致视差进行填充，最后进行亚像素增强和视差图平滑生成结果视差图。该算法既避免了人为设计匹配代价的局限性，同时在运算效率和视差图精度方面有着显著提升，并且能有效保存图像的边缘信息，降低误匹配率。

发明内容

本发明所要解决的技术问题在于克服现有技术的不足，提供一种计算机视觉的立体匹配算法，解决现有双目立体匹配方法中存在的视差精度较低，噪声干扰较大等问题。

本发明实现上述目的的技术解决方案为：一种计算机视觉的立体匹配算法，其特征在于包括以下步骤：

步骤1、通过全连接神经网络计算输入立体图像对的初始匹配代价，并利用“胜者为王”策略找出对应的视差值，生成初始视差图；