[发明专利]在左图像与右图像之间估计视差的设备和方法

说明书

技术领域

本发明涉及在左图像与右图像之间估计视差的设备和方法，尤其涉及一种在划分的图像区域中，基于特征点及其匹配代价函数来计算亚像素级别视差的设备和方法。

背景技术

视差(即，双目视差)是指在双目视觉中，同一空间点在双目分别看到的左图像和右图像中不同投影之间的位置矢量。实际中，由于人眼对于深度的感觉取决于水平方向的视差，所以视差也可仅仅指位置矢量的水平分量。

如上所述，视差为产生深度感觉的依据，因此，视差估计是计算场景深度、场景三维重建以及三维显示中的核心技术。在现有的视差估计中，通常基于匹配的点或区域得到初始估计值，进而采用渐进式的迭代算法，以得到最高精度为像素级别的视差估计。

上述方法要求拍摄左右图像的相机尽量水平运动，并需要对得到的结果进行校正和优化，特别是当进行全局优化时，计算量非常大，耗时明显。

因此，需要提供一种能够提高视差估计精度的技术方案。此外，随着数字信号处理技术的发展，多核并行处理成为可能，而目前尚无可利用并行处理的能力来提高视差估计效率和速度的技术方案。

发明内容

本发明的目的在于提供一种能够提高视差估计精度的技术方案。此外，可在本发明的视差估计方案中，利用多核并行处理来提高视差估计效率和速度。

根据本发明的一方面，提供一种在左图像与右图像之间估计视差的设备，包括：特征点提取单元，用于提取左图像和右图像中的特征点，确定分别位于左图像与右图像中且相互匹配的成对特征点，并计算匹配特征点之间的位置矢量；区域划分单元，用于基于颜色相似程度将左图像划分为多个区域；匹配代价计算单元，用于计算左图像中的像素与右图像中的特定范围内的各个像素进行匹配的匹配代价函数；以及视差产生单元，用于在特征点较多的多纹理区域中，基于各个特征点的位置矢量和匹配代价函数得到所述特征点的视差值，对所述视差值进行二维平面拟合，以获得多纹理区域中全部像素的视差值；并基于多纹理区域中像素的视差值来确定其它剩余区域的视差值。

特征点提取单元、区域划分单元和匹配代价计算单元以并行方式进行操作。

特征点提取单元提取的特征点为SURF特征点或SIFT特征点。

对于左图像中的任一特征点，特征点提取单元将右图像中与所述特征点之间的特征矢量距离最短的一特征点确定为匹配的特征点。

特征点提取单元依据以下约束条件中的至少一个对确定的成对匹配特征点进行筛选：A、匹配的成对特征点之间的特征矢量距离需要小于或等于一定特征矢量距离阈值；B、匹配的成对特征点之间的位置矢量大小需要小于或等于一定位置矢量大小阈值；C、匹配的成对特征点之间的位置矢量的方向角需要小于或等于一定位置矢量方向角阈值。

区域划分单元基于颜色相似程度将左图像首先粗略地划分为多个区域，再依次对各个区域进行进一步的细分。

区域划分单元保存最终划分结果以及中间划分结果。

匹配代价计算单元基于经验值或实验值来设置右图像中的所述特定范围。

匹配代价计算单元将左图像中的像素与右图像中的像素之间的匹配代价函数表示为：这两个像素的多个对应邻域之间的相似性距离的加权平均值。

所述相似性距离为基于邻域颜色直方图的EMD距离。

对于多纹理区域中的任一特征点，视差产生单元将该任一特征点的匹配特征点及匹配特征点周围的多个像素点代入所述任一特征点的匹配代价函数，对于得到的多个匹配代价值进行二次多项式拟合，拟合后的曲线的最小值所对应的与所述任一特征点之间的位置矢量被确定为视差值。

视差产生单元基于中间划分结果相应的区域进行二维平面拟合。

当视差产生单元确定其它剩余区域的视差值时，视差产生单元将待确定区域周围的多纹理区域的视差平均值赋予所述待确定区域，作为其视差值。

视差产生单元对产生的左图像的所有视差进行平滑处理。

视差产生单元基于最终划分结果或中间划分结果对产生的左图像的所有视差进行平滑处理。

使用Bilateral滤波器来进行所述平滑处理。