[发明专利]多光谱光场重建方法、装置、电子设备及存储介质

权利要求书

1.一种多光谱光场重建方法，其特征在于，包括：

获取光场图像；

对所述光场图像进行特征提取，得到第一特征图像；

基于自注意力机制，根据所述第一特征图像得到注意力图像；

将所述第一特征图像和所述注意力图像进行融合，得到第二特征图像；

根据所述第二特征图像，得到多光谱光场图像；

所述第一特征图像、注意力图像、第二特征图像和多光谱光场图像，是通过训练完成的多光谱光场重建网络模型得到的；

其中，所述多光谱光场重建网络模型是基于以下方式训练得到的：

获取训练数据，所述训练数据包括光场图像样本和所述光场图像样本对应的真实多光谱图像，其中，每个所述光场图像样本对应多个光场图像视图矩阵；

对于每个所述光场图像样本，将所述光场图像样本输入至初始的多光谱光场重建网络模型，得到所述光场图像样本对应的重建多光谱图像；

对于每个所述光场图像样本，基于所述光场图像样本对应的光场图像视图矩阵，得到互补光场信息，并计算所述真实多光谱图像和所述重建多光谱图像之间的差异值，其中，所述互补光场信息用于表征所述光场图像样本对应的光场图像视图矩阵之间的视差信息；

对于每个所述光场图像样本，根据所述光场图像样本对应的差异值和互补光场信息，计算所述光场图像样本对应的损失值；

根据各个所述光场图像样本对应的损失值对所述初始的多光谱光场重建网络模型进行迭代训练，直至各个所述光场图像样本对应的损失值符合训练结束条件时，将训练结束时的初始的多光谱光场重建网络模型确定为所述多光谱光场重建网络模型；

对于每个所述光场图像样本，所述光场图像样本对应的互补光场信息通过以下公式计算得到：

其中，F₁表示的是互补光场信息，N表示所述光场图像样本对应的光场图像视图矩阵的数量，D_i+1、D_i分别表示第i+1个、第i个光场图像视图矩阵。

2.根据权利要求1所述的方法，其特征在于，对于每个所述光场图像样本，所述光场图像样本对应的损失值通过以下公式计算得到：

L′(θ)＝L(θ)+ρF₁

其中，L′(θ)表示所述光场图像样本对应的损失值，L(θ)表示所述光场图像样本对应的差异值，ρ表示正则化系数，F₁表示所述光场图像样本对应的互补光场信息。

3.根据权利要求1所述的方法，其特征在于，所述基于自注意力机制，根据所述第一特征图像得到注意力图像，包括：

利用卷积层对所述第一特征图像进行维数变换，得到第三特征图像；

利用激活函数对所述第三特征图像进行归一化，得到所述注意力图像。

4.根据权利要求1所述的方法，其特征在于，所述将所述第一特征图像和所述注意力图像进行融合，得到第二特征图像，包括：

计算所述第一特征图像和所述注意力图像的乘积，将所述乘积确定为所述第二特征图像。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述获取光场图像，包括：

对液晶微透镜阵列加载不同预设数值的电压，得到不同电压对应的采集图像，对所述不同电压对应的采集图像进行融合处理，得到所述光场图像。