[发明专利]对多级透镜多视角场景的三维重建的方法

说明书

技术领域

本发明属于二维或三维成像技术领域，更具体地，本发明涉及一种对多级透镜多视角场景的三维重建的方法。

背景技术

计算机视觉是计算机科学中的一个非常活跃的领域。人类获得的感官信息中，80％都来自于视觉，而计算机视觉就是用摄像机和计算机模拟人眼立体视觉获得目标，并对其进行分析。立体视觉匹配技术是计算机视觉领域中最为关键的研究分支，是一种基于三角法测距原理的被动三维成像技术。被动式三维成像技术不需要引入外部光源，但是对没有明显特征的图像(如无明显边缘、角点或是无纹理及纹理重复等)，计算量很大，也很难确保匹配的准确度。

目前立体匹配算法主要分为局部匹配和全局匹配方法两大类。局部匹配方法是对像素周围的小区域进行约束，这一算法主要有基于灰度的匹配方法、基于特征的匹配方法、基于区域的匹配方法等。而全局匹配方法是对整幅图像进行约束的，主要包括动态规划匹配算法、图割法、信任度传播算法等。

局部匹配算法的重点就是匹配代价的积累阶段，只要找到一个具有最小的匹配代价作为差值即可，此类方法在每个像素周围的小区域中是最优的。

基于灰度的匹配算法的实质是利用局部窗口之间的灰度信息的相关程度来达到较高的精度。但是该类算法的匹配窗口的大小的选择是问题所在。在各种确定匹配窗口的方法中，Kanade和Okutomi的方法是比较经典的，其从理论上建立了左右图像匹配窗口内亮度对应的分布模型和匹配窗口内视差值分布的统计模型，提出了一种自适应窗口立体匹配方法。该方法能自适应的调整匹配窗口的大小，但是由于视差估计的形式很复杂，从而使计算量增大，降低了计算效率。

基于特征的匹配算法不直接依赖于灰度，具有较强的抗干扰性，并且计算量小。但是因为只能生成稀疏的视差图，所以对复杂形状的物体的匹配效果不好。Y.Ke等提出了PCA-SIFT描述子，在关键点周围的一定区域内计算每个像素的垂直和水平梯度，组成特征向量，然后利用PCA技术对描述向量进行降维。PCA-SIFT描述子能够很好的降低特征向量的维数，但是PCA技术要选取一些列有代表性的图像来训练投影矩阵，从而增加了计算复杂度。并且SIFT特征向量的高维性不仅占用的内存空间较大，而且影响特征匹配的速度。

全局匹配算法一般用相容性约束和平滑性约束来构成一个评价函数，再通过各种最优算法求取评价函数的最小值。

动态规划立体匹配算法的计算效率高、匹配效果较好的特点，使之成为实时处理中最常用的算法之一。传统的基于核线优化的动态规划立体匹配方法由于核线之间的约束不够，导致视差图中出现比较明显的横向“条纹”。Bobick等人引入了控制点修正技术，从而减少了“条纹”，改善了视差图的质量，但是控制点的获取时间较长，增加了匹配算法的时间，从而降低了算法的实时性。

图割算法不仅总体精度高，而且在不连续区域和低纹理区域的精度也比其他的算法高。文章A maximum-flow formulation of the n-camerastereo correspondence problem中的方法可以得到全局最优的匹配结果，目标与背景被较好分离，但损失了细节部分的信息。

基于置信传播(Belief Propagation，即BP)的视差估计算法是一类精度较高的全局算法，但是在物体遮挡区域，全局最优路径和真实路径有差距，从而增加了算法的计算复杂度。为了降低BP算法的计算复杂度，进行了改进，其中最典型的是Felzenszwalb等人的算法。该算法是通过采用分层技术来减少BP算法的迭代次数，从而提高收敛速度。但是当迭代次数较高时，执行时间也会比较长。并且它采用固定的平滑相和数据项，对BP算法全局路径与真实路径之间的差距没有任何改进。

基于局部约束的算法时间复杂度不高且容易实现，但精确度不高。基于全局约束的算法精确度比较高，但算法时间复杂度也较高，一般都比较耗费时间。

全息技术是实现真实的三维图像的记录和再现的技术。D.P.Paris首先在计算全息中引入快速傅里叶变换算法(FFT)，提高了产生傅里叶变换全息图的计算效率。H.Yoshikawa等采用泰勒级数展开法递归求解物体和全息面上对应点的距离，从而得到全息面相邻像素点的位相差的方法快速求解菲涅尔全息图。

但是全息图的产生和重现的计算量相当可观，因此，如何提高全息图的计算效率变成了全息技术的关键。

发明内容