[发明专利]多光谱光场重建方法、装置、电子设备及存储介质

说明书

本发明涉及一种多光谱光场重建方法、装置、电子设备及存储介质，属于计算摄像学技术领域。该方法包括：获取光场图像；对光场图像进行特征提取，得到第一特征图像；基于自注意力机制，根据第一特征图像得到注意力图像；将第一特征图像和注意力图像进行融合，得到第二特征图像；根据第二特征图像，得到多光谱光场图像。本发明将自注意力机制引入多光谱光场重建中，以提取重建过程中得到的中间特征之间的相关性，从而能够利用中间特征之间的相关性，提高针对光场图像的重建效果。

背景技术

近年来，随着计算机数字处理能力的提升和信息理论技术的发展，计算成像已逐渐成为突破光学成像中观测维度限制的关键技术。计算成像是将图像数据采集和图像处理集成一体的方法，通过将硬件采集装置和图像处理算法进行结合，突破了传统成像维度和传感器的局限性，使得成像系统能同时获取多维度的信息。而多光谱成像是一种能够同时获取光谱特征和空间图像信息的成像方法，是当前光电成像系统发展的重要方向。

随着快照式压缩光谱感知技术的发展，出现了使用深度学习快速实现光谱重建的趋势。尤其是基于卷积神经网络的快照式压缩光谱成像重构方法，在多光谱重建方法上得到了广泛使用。

但是，大多数基于卷积神经网络的重建算法致力于设计更复杂或者更深的网络结构，以此获得更高级的特征表示，而忽略了提取中间特征之间的相关性。

发明内容

为了解决现有的重建算法忽略了提取中间特征之间的相关性的缺陷，本发明提供了一种多光谱光场重建方法、装置、电子设备及存储介质。

第一方面，为了解决上述技术问题，本发明提供了一种多光谱光场重建方法，包括：

获取光场图像；

对光场图像进行特征提取，得到第一特征图像；

基于自注意力机制，根据第一特征图像得到注意力图像；

将第一特征图像和注意力图像进行融合，得到第二特征图像；

根据第二特征图像，得到多光谱光场图像。

本发明的有益效果是：将自注意力机制引入多光谱光场重建中，以提取重建过程中得到的中间特征之间的相关性，从而能够利用中间特征之间的相关性，提高对光场图像的重建效果。

进一步，第一特征图像、注意力图像、第二特征图像和多光谱光场图像，是通过训练完成的多光谱光场重建网络模型得到的；

其中，多光谱光场重建网络模型是基于以下方式训练得到的：

获取训练数据，训练数据包括光场图像样本和光场图像样本对应的真实多光谱图像，其中，每个光场图像样本对应多个光场图像视图矩阵；

对于每个光场图像样本，将光场图像样本输入至初始的多光谱光场重建网络模型，得到光场图像样本对应的重建多光谱图像；

对于每个光场图像样本，基于光场图像样本对应的光场图像视图矩阵，得到互补光场信息，并计算真实多光谱图像和重建多光谱图像之间的差异值，其中，互补光场信息用于表征光场图像样本对应的光场图像视图矩阵之间的视差信息；

对于每个光场图像样本，根据光场图像样本对应的差异值和互补光场信息，计算光场图像样本对应的损失值；

根据各个光场图像样本对应的损失值对初始的多光谱光场重建网络模型进行迭代训练，直至各个光场图像样本对应的损失值符合训练结束条件时，将训练结束时的初始的多光谱光场重建网络模型确定为多光谱光场重建网络模型。

采用上述改进方案的有益效果是：在模型训练过程中加入了互补光场信息进行优化，能够提高模型针对光场图像输出的重建结果的空间分辨率和光谱分辨率，且能够保留原本的光场信息，从而达到同时获取多维度信息的多光谱光场重建效果。