[发明专利]一种基于3D卷积的光场显著性目标检测方法

说明书

本发明公开了一种基于3D卷积的光场显著性目标检测方法，包括：1、对光场数据进行重聚焦，得到不同聚焦参数下的光场数据；2、对重聚焦后的光场数据进行解码，得到聚焦在场景不同深度下的焦点堆栈；3、对焦点堆栈进行数据增强；4、构建基于3D卷积的深度卷积神经网络，以焦点堆栈作为输入，对深度卷积神经网络进行训练，得到光场显著性目标检测模型；5、利用训练好的模型对待检测的焦点堆栈进行显著性目标检测，并评估模型在待检测的焦点堆栈上的精度。本发明能实现基于3D卷积的光场显著性目标检测，有效提高复杂多变环境下场景的显著性目标检测的准确性。

技术领域

本发明属于计算机视觉中、图像处理和分析领域，具体地说是一种基于3D卷积的光场显著性目标检测方法。

背景技术

视觉显著性是人类视觉系统的一种注意力机制，当我们在观察一个场景时，场景中往往有一个显著的区域吸引我们的注意力，自然的，我们会忽略那些非显著的区域，这样人类可以快速地处理大量的图像数据。显著性目标检测是指计算机模拟人类视觉系统快速准确的定位视野中感兴趣的区域或目标，准确的显著性目标检测可以为目标检测和识别，图像分割，视觉跟踪提供可靠的先验信息。

根据不同类型的输入数据，显著性目标检测主要分为三类：(1)基于RGB图像的显著性目标检测；(2)基于RGB-D图像的显著性目标检测；(3)基于光场的显著性目标检测。在高光或暗光，部分遮挡，背景杂乱，前景和背景相似等复杂场景下，以RGB图像作为输入很难有效的检测出显著性目标或区域。以RGB-D图像作为输入的方法，同时输入RGB图像和深度图，额外引入了深度信息，已经被证明可以提高显著性目标检测的性能，但是如果深度图的质量较差时，反而会导致显著性目标检测的效果变差。光场是指通过空间中每一点在各个方向传播的光的数量，其同时记录了光辐射在空间中的位置信息和视角信息，对自然场景的描述更加完整。

目前，已经有几项工作研究基于光场的显著性目标检测，这些工作大致分为基于特征的方法和基于学习的方法。基于特征的方法是在光场焦点堆栈、全聚焦图像的基础上，利用色彩、深度、背景先验等信息来估计显著性目标。这类方法只考虑到几种有限的特征，检测精度往往不高。基于学习的方法通过一定量的训练数据来训练一个显著性目标检测模型，利用训练的模型在测试数据上进行测试。基于学习的方法依赖于深度神经网络强大的学习能力，融合了多种特征，相较于基于特征的方法，在检测精度上有了很大的提升。但是这些基于学习的方法仍存在不足之处：1、基于学习的方法大都在自己提出的光场显著性目标检测数据集上进行训练测试，缺乏相互之间的比较，难以体现该模型在其他的光场显著性目标检测数据集上仍能取得良好的显著性目标检测结果；2、基于学习的方法大都用到了焦点堆栈，这些方法将焦点堆栈简单的堆叠在一起，扩充了通道维度，使用2D卷积提取焦点堆栈的特征，忽略了焦点堆栈不同聚焦图像之间焦点连续变化的关联信息，在复杂场景下，很难得到精确的光场显著性目标检测结果；3、另一部分基于学习的光场显著性目标检测方法使用中央视角图像、视角图像作为输入，考虑多视角信息对光场显著性目标检测的有益性，但实验结果表明，视角信息并不能很好的提升光场显著性目标检测的性能。

发明内容

本发明为解决现有技术中的不足之处，提供一种基于3D卷积的光场显著性目标检测方法，旨在解决从光场焦点堆栈中高效的提取特征的问题，通过构建基于3D卷积的深度神经网络，得到能够在复杂场景下有效的检测出显著性目标的光场显著性目标检测特征模型，从而提高复杂多变环境下光场显著性目标检测的精度和准确性。

为解决上述技术问题，本发明采用的技术方案是：

本发明一种基于3D卷积的光场显著性目标检测方法的特点是按照如下步骤进行：

步骤1、对光场数据进行重聚焦，得到不同聚焦参数下的光场数据；