[发明专利]一种基于滑动窗口张量提取的深度估计方法

说明书

本发明公开了一种基于滑动窗口张量提取的深度估计方法，包括以下步骤：A1：输入光场图像，进行预处理及重聚焦操作，根据聚焦平面改变时宏像素内部的变化特点提取光场图像的聚焦张量；A2：筛选出光场图像的遮挡区域，通过滑动窗口搜索的方式提取遮挡区域的聚焦张量；A3：根据步骤A1提取的光场图像的聚焦张量和步骤A2中提取的遮挡区域的聚焦张量来进行初始深度估计，得到初始深度图；A4：从光场图像中提取中心子孔径视角图像，根据光场图像的边界进行保边滤波；A5：结合初始深度图和中心子孔径视角图像来建立全局优化模型，进行深度的全局优化。本发明提出的基于滑动窗口张量提取的深度估计方法，能够获得准确性与一致性高、边界清晰的结果。

技术领域

本发明涉及计算机视觉与数字图像处理领域，尤其涉及一种基于滑动窗口张量提取的深度估计方法。

背景技术

近年来，基于光场成像理论发布的光场相机(如Lytro、Illum和Raytrix)以其便携性强、能够记录四维光场分布的特点引发了研究界的广泛关注，并获得了巨大的商业成功。光场相机通过在主透镜后插入二维微透镜相机阵列就可以同时采集多个视角的信息，包括空间信息和角度信息，相对于传统相机阵列具有成本低廉、可移动的特点。利用光场相机可实现先拍照后对焦，也可对其采集的数据进行二次开发，通过电脑软件借助一定算法实现视角的切换、计算场景景深信息，对于计算机视觉领域的科研人员而言具有很大的意义。

现有的基于光场相机的深度估计方法大体可分为三类：极面图像(EpipolarPlane Image)算法、立体匹配算法与散焦分析算法。其中极面图像算法充分分析了光场图像水平方向和竖直方向的斜率与深度的关系，从而建立光场图像斜率与深度的代价方程实现深度估计；当遮挡存在时，前景后景的斜率混杂，斜率计算错误将直接导致深度估计错误。传统的立体匹配算法利用各子孔径图像间的匹配一致性计算深度；然而，这类算法通常计算复杂度较高，而且由于光场相机各子孔径图像之间基线较短，匹配点可能位于分像素精度，导致无法满足算法匹配所需精度要求，因此该种方法所求得的深度结果质量较差。散焦分析算法则利用重聚焦过程中光场图像所包含的线索来估算深度；在对光场图像进行数字重聚焦的过程中，分析其在聚焦和散焦状态下表现的不同特点，选择能够准确描述该特点的深度线索，为不同线索定义不同的代价方程，通过最小化代价方程的形式来获取准确深度；但是该算法是在整个宏像素中进行一致性分析，当遮挡存在的情况下整个宏像素的视角不再来自同一物点，故一致性不再满足，导致结果并不准确。

综上所述，目前已有的深度估计方法对实际场景的深度估计的并不准确，错误经常出现在纹理稀少的平滑区域以及遮挡区域。

以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

为解决上述技术问题，本发明提出一种基于滑动窗口张量提取的深度估计方法，能够获得准确性与一致性高、边界清晰的结果。

为了达到上述目的，本发明采用以下技术方案：

本发明公开了一种基于滑动窗口张量提取的深度估计方法，包括以下步骤：

A1：输入光场图像，进行预处理及重聚焦操作，根据聚焦平面改变时宏像素内部的变化特点提取所述光场图像的聚焦张量；

A2：筛选出所述光场图像的遮挡区域，通过滑动窗口搜索的方式提取遮挡区域的聚焦张量；

A3：根据步骤A1提取的所述光场图像的聚焦张量和步骤A2中提取的遮挡区域的聚焦张量来进行初始深度估计，得到初始深度图；

A4：从所述光场图像中提取中心子孔径视角图像，根据所述光场图像的边界进行保边滤波；