[发明专利]一种基于零样本学习的光场图像角域超分辨系统及方法

权利要求书

1.一种基于零样本学习的光场图像角域超分辨系统，其特征在于，包括：光场图像采集模块、数据预处理模块、网络训练模块、光场图像超分辨模块和数据存储模块；其中：

光场图像采集模块：负责采集待超分辨光场图像；该模块由包含M*N个分布在规则网格上且镜头光轴平行排列的相机组成相机阵列，根据用户设置的场景位置，对M行N列的相机阵列进行同步曝光控制，获取角域分辨率为M*N的待超分辨光场图像L^d，第i行j列相机获取的视角图像为V^i，j，规格网格上拍摄的同一场景各个视角图像之间存在关联性和图像信息重复性；M≥3，N≥3，1≤i≥M，1≤j≥N；

数据预处理模块：负责获取用于网络训练和验证的光场图像数据集；将待超分辨光场图像L^d由RGB色彩空间转换为YCbCr色彩空间，并提取YCbCr色彩空间中亮度通道作为训练和验证数据的角域高分辨率光场图像对角域高分辨率光场图像进行角域下采样，得到角域低分辨率光场图像从中提取训练和验证数据，得到训练和验证数据集，对得到的训练和验证数据集中的光场图像进行数据增强，扩大训练和验证数据集的图像数量，并进行分块，再将分块后的光场图像分批存入数据文件中，得到最终的训练和验证数据；

网络训练模块：负责获取光场图像的角域超分辨网络模型；构建适应于零样本学习特征的卷积神经网络模型，设置卷积神经网络模型的训练超参数；将数据预处理模块得到的训练和验证数据输入到卷积神经网络模型中，经过n次迭代优化角域超分辨网络模型，得到角域低分辨光场图像到角域高分辨率光场图像的网络模型f；

光场图像超分辨模块：将待超分辨光场图像输入网络训练模块获取的角域超分辨网络模型中，输出预测的待超分辨光场图像的角域高分辨率光场图像；

数据存储模块：管理数据库并实现光场图像数据的存储；在数据库中存储并管理来自光场图像采集模块的待超分辨光场图像、数据预处理模块获取的训练与验证数据，网络训练模块获取的网络模型和光场图像超分辨模块获取的待超分辨光场图像的角域高分辨率光场图像；

所述网络训练模块具体实现如下：

(1)构建角域超分辨网络模型；基于零样本学习方法针对不同的待超分辨光场图像需要重新训练网络模型的特征，为了控制训练时长，提高网络运行效率，设计K层的卷积神经网络，K≤6，除最后一层外，其余卷积层后设置ReLU激活函数，使角域超分辨网络模型具有非线性表达能力，第k层的卷积核尺寸为t_k*t_k，卷积核个数b_k；k≤K，其中K是总层数，k是第k层；

(2)将数据预处理模块得到的训练和验证数据输入到角域超分辨网络模型中，预测训练和验证数据的角域高分辨率光场图像块，采用真实角域高分辨率光场图像块与预测角域高分辨率光场图像块之间的均方误差作为损失函数，损失函数数学模型为：

其中：为预测的第r个角域高分辨率光场图像块，为第r个真实角域高分辨率光场图像块，R为真实角域高分辨率光场图像块样本个数，利用pytorch框架进行模型训练，采用Adam优化角域超分辨网络模型，用损失函数的值作为衡量输出角域高分辨率光场图像质量的标准，通过BP算法传递梯度误差，不断更新角域超分辨网络模型参数，经过n次迭代优化寻找角域超分辨网络模型参数的最优解，得到角域低分辨光场图像到预测角域高分辨光场图像映射模型f：