[发明专利]一种基于卷积神经网络和注意力机制的光场深度预测方法

说明书

本发明涉及一种基于卷积神经网络和注意力机制的光场深度预测方法，包括：获取光场图像并对其进行预处理，生成光场图像集；构建光场深度预测模型，该模型包括EPI学习模块、注意力模块和特征融合模块；将光场图像集分别输入EPI学习模块和注意力模块，分别获取光场图像的EPI信息以及各个图像权重；分别将光场图像EPI信息以及各个图像的权重输入特征融合模块，获得光场深度预测结果。与现有技术相比，本发明具有预测精度高、实用性好等优点。

技术领域

本发明涉及光场深度估计技术领域，尤其是涉及一种基于卷积神经网络和注意力机制的光场深度预测方法。

背景技术

光场深度信息反映了相应目标的精确空间信息。场景深度获取是决定光场图像能否得到广泛应用的技术关键，也是计算机视觉等领域的研究热点之一。它在三维重建，目标识别，汽车自动驾驶等领域发挥着重要作用。

目前，光场深度估计算法主要分为基于非学习的方法和基于学习的方法。非学习方法主要包括聚焦与离焦融合方法和基于立体匹配的方法。聚焦和离焦融合方法通过测量不同焦堆像素的模糊度，得到相应的深度，使用该方法得到的深度图可以保留更多的细节，但会引入散焦误差，降低深度图的精度。

近年来，深度学习在光场深度估计领域取得了巨大的成就，如中国专利CN112785637A中公开了一种基于动态融合网络的光场深度估计方法，包括以下步骤：确定光场数据集，基于光场数据集确定训练集和测试集；扩充光场数据集；搭建动态融合网络模型；动态融合网络模型由双流网络和一个多模态动态融合模块构成；双流网络由RGB流和焦点堆栈流组成；将双流网络的输出全局RGB特征和焦点特征作为多模态动态融合模块的输入，输出最终深度图；基于训练集训练构建的动态融合网络模型；在所述测试集上测试训练好的动态融合网络模型，并在手机数据集上进行验证。该专利中的光场深度估计方法可以获得优于其它光场深度估计方法的精度，减小噪声，保留更多细节信息，且打破了光场相机的限制，成功地应用于普通消费级相机数据，但是该专利中的光场深度估计方法未充分考虑光场图像的几何特征，预测的精准度不高。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种预测精度高、实用性好的基于卷积神经网络和注意力机制的光场深度预测方法。

本发明的目的可以通过以下技术方案来实现：

一种基于卷积神经网络和注意力机制的光场深度预测方法，所述的光场深度预测方法包括：

步骤1：获取光场图像并对其进行预处理，生成光场图像集；

步骤2：构建光场深度预测模型，该模型包括EPI学习模块、注意力模块和特征融合模块；

步骤3：将步骤1获取的光场图像集分别输入EPI学习模块和注意力模块，分别获取光场图像的EPI信息以及各个图像权重；

步骤4：分别将光场图像EPI信息以及各个图像的权重输入特征融合模块，获得光场深度预测结果。

优选地，所述步骤1中对光场图像的预处理具体为：对光场图像进行数据增强操作。

优选地，所述的EPI学习模块具体为：

在0°、45°、90°和135°四个角度分别设置并行的EPI学习网络，四个并行EPI学习网络均包括依次相连的二维卷积层、激活层、二维卷积层、激活层和批量归一化层。

更加优选地，所述的EPI学习网络的损失函数为：

其中，L为返回损失值，N为样本总量，x和y分别为预测的输出。

更加优选地，所述的激活层具体为：Sigmoid函数。