[发明专利]一种基于卷积神经网络和注意力机制的光场深度预测方法

权利要求书

1.一种基于卷积神经网络和注意力机制的光场深度预测方法，其特征在于，所述的光场深度预测方法包括：

步骤1：获取光场图像并对其进行预处理，生成光场图像集；

步骤2：构建光场深度预测模型，该模型包括EPI学习模块、注意力模块和特征融合模块；

步骤3：将步骤1获取的光场图像集分别输入EPI学习模块和注意力模块，分别获取光场图像的EPI信息以及各个图像权重；

步骤4：分别将光场图像EPI信息以及各个图像的权重输入特征融合模块，获得光场深度预测结果。

2.根据权利要求1所述的一种基于卷积神经网络和注意力机制的光场深度预测方法，其特征在于，所述步骤1中对光场图像的预处理具体为：对光场图像进行数据增强操作。

3.根据权利要求1所述的一种基于卷积神经网络和注意力机制的光场深度预测方法，其特征在于，所述的EPI学习模块具体为：

在0°、45°、90°和135°四个角度分别设置并行的EPI学习网络，四个并行EPI学习网络均包括依次相连的二维卷积层、激活层、二维卷积层、激活层和批量归一化层。

4.根据权利要求3所述的一种基于卷积神经网络和注意力机制的光场深度预测方法，其特征在于，所述的EPI学习网络的损失函数为：

其中，L为返回损失值，N为样本总量，x和y分别为预测的输出。

5.根据权利要求3所述的一种基于卷积神经网络和注意力机制的光场深度预测方法，其特征在于，所述的激活层具体为：Sigmoid函数。

6.根据权利要求1所述的一种基于卷积神经网络和注意力机制的光场深度预测方法，其特征在于，所述的注意力模块包括依次相连的二维卷积层、Resblock、特征提取层、Costvolume层、池化层、全连接层和激活层。

7.根据权利要求6所述的一种基于卷积神经网络和注意力机制的光场深度预测方法，其特征在于，所述的特征提取层具体为：空间金字塔池化层。

8.根据权利要求1所述的一种基于卷积神经网络和注意力机制的光场深度预测方法，其特征在于，所述的步骤2还包括在训练时对光场深度预测模型进行验证。

9.根据权利要求8所述的一种基于卷积神经网络和注意力机制的光场深度预测方法，其特征在于，所述的验证方法为：

首先，计算光场深度预测结果与ground truth的均方误差MSE：

其中，N为光场图像中的像素总数；Dep和GT分别为光场深度预测结果和ground truth；i为光场图像中的每个像素；

其次，计算峰值信噪比PSNR：

其中，MAX为光场图像中像素的最大值；

然后，计算结构相似性指标SSIM：

其中，x和y分别为光场深度预测结果和ground truth；μ为光场图像像素值的平均值；σ_x²和σ_y²分别为对应图像的方差；σ_x,y为x和y的协方差；

最后判断MSE、PSNR和SSIM是否均在预设阈值内，若是，则完成模型的训练，否则，继续对模型进行训练。

10.根据权利要求1所述的一种基于卷积神经网络和注意力机制的光场深度预测方法，其特征在于，所述的特征融合模块包括8个依次相连的卷积块和1个优化块；所述的优化块包括两个二维卷积层和一个激活层。