[发明专利]一种面向光场图像的深度估计方法

说明书

本发明公开了一种面向光场图像的深度估计方法，包括如下步骤：解码光场图像得到4D光场数据、中心子孔径图像；由4D光场数据生成焦点堆栈图像序列；对中心子孔径图像上的每个像素，绘制聚焦曲线；检测聚焦曲线的局部对称中心，得视差图D1；由4D光场数据生成每个像素对应的水平方向、垂直方向的EPI图像；检测EPI图像上直线的斜率，得到视差图D2；基于中心子孔径图像和两个视差图，对每个像素绘制两种聚焦曲线片段；计算两种聚焦曲线片段与聚焦曲线的匹配度，由匹配度确定最终视差图D；执行基于能量最小化的深度优化。本发明的深度估计结果具有较高准确度，对室外噪声场景、复杂遮挡场景等具有较强鲁棒性。

技术领域

本发明涉及计算机视觉与数字图像处理技术领域，尤其是一种面向光场图像的深度估计方法。

背景技术

20世纪上半叶，A.Gershun等人已经提出了光场概念，用以描述光在三维空间中的辐射特性，然而，光场成像技术相对滞后于理论概念的发展。陆续出现的光场成像设备主要有相机阵列、光场传感器、微透镜阵列等。R.Ng等人于2005年设计的手持式光场相机，成为微透镜阵列光场采集设备的代表，直接推动了光场相机(如Lytro、Raytrix等)快速进入民用市场，同时也在学术界掀起了光场成像的应用研究热潮。

基于图像分析方法获取场景深度信息(物体与成像系统的距离)是计算机视觉领域的一个重要问题，在机器人导航、三维重建、摄影测量等方面有着广泛应用。与传统相机相比，基于微透镜阵列的光场相机能够同时记录光线的位置和方向，由一次曝光采集的光场数据既可以计算得到多视角的子孔径图像又可以生成焦点堆栈图像，为深度估计提供了便利条件。近年来，基于光场成像的深度估计成为CVPR、ICCV等计算机视觉顶级会议讨论的话题之一，不少学者开展了该问题的研究：尹晓艮等人直接使用Halcon软件的聚焦深度函数进行对焦点堆栈图像进行深度获取，并应用于3D重建。Lin等人对编码焦点堆栈进行了系统研究，并利用稀疏编码技术从焦点堆栈中恢复全聚焦图像和全分辨率深度数据。Wanner等人提出全局一致性深度标记算法，在全变分框架下，利用EPI图像梯度的结构张量求解纹理斜率，并使用最小化能量函数进行全局约束，实现深度信息的估计。Suzuki等人就视差范围受限问题，提出在结构张量分析之前先对EPI图像进行裁剪，对不同裁剪系数的结构张量分析结果综合生成最终视差图。

中国专利CN 104899870A，公布日2015.09.09，申请号201510251234.8，基于光场数据分布的深度估计方法。利用焦点堆栈图像，分别提取同一个宏像素的强度范围，进而选出最小强度范围对应的重聚焦光场图像，以该重聚焦光场图像的焦距作为该宏像素的场景深度。该发明利用Lytro等光场相机采集的场景纹理及空间信息，获得细节丰富，特征清晰，准确性、一致性高的场景深度估计。中国专利CN 104966289 A，公布日2015.10.07，申请号201510324490.5，一种基于4D光场的深度估计方法。该发明重点解决了初始深度值的可靠性问题、深度过平滑问题、深度值融合问题。中国专利CN 105551050 A，公布日2016.05.04，申请号201511019609.4，一种基于光场的图像深度估计方法。该发明检测显著特征点并将显著特征点匹配作为深度优化的强约束条件，避免了插值过程引起的视点混淆，提升了深度估计准确性。中国专利CN 106651943 A，公布日2017.05.10，申请号201611262452.2，一种基于遮挡几何互补模型的光场相机深度估计方法。该发明利用相对的两个视角中，所看到遮挡区域具有互补关系的性质，实现较好的遮挡结果和准确深度图。

当前，对光场相机这类新型成像设备的认识以及基于光场成像的深度估计方法的研究均处于新兴探索阶段。现有基于光场的深度估计方法较少关注深度估计对噪声和遮挡的鲁棒性，而这对复杂场景的深度估计是至关重要的。

发明内容

本发明所要解决的技术问题在于，提供一种面向光场图像的深度估计方法，能够由光场数据得到准确的深度估计结果，并且对存在噪声和遮挡的复杂场景具有较高鲁棒性。

为解决上述技术问题，本发明提供一种面向光场图像的深度估计方法，包括如下步骤：