[发明专利]一种基于深度学习的光场视频时间-角度超分辨率网络

权利要求书

1.一种基于深度学习的光场视频时间-角度超分辨率网络，其特征在于包括如下步骤：

步骤S1：假设输入为低角度分辨率宏像素形式的光场图像以合成中间帧低角度分辨率的宏像素形式的光场图像为目标，设计时间超分辨率模块；t表示第t帧，A表示光场图像的角度，H表示光场图像的高度，W表示光场图像的宽度；

步骤S2：对时间超分辨率模块的输出结果进行角度超分辨率运算，最终得到角度超分辨率运算后的宏像素形式的光场图像角度超分辨率运算通过设计的角度超分辨率模块实现。

2.根据权利要求1所述的一种基于深度学习的光场视频时间-角度超分辨率网络，其特征在于所述步骤S1具体实现包括：

1-1.选择使用RIR结构的设计方案，首先使用Blockshuffle函数中的BlockshuffleDown分别对和进行space-to-depth下采样操作；经过BlockshuffleDown后得到具体为：

其中，α表示采样因子，b≥1，↓表示BlockshuffleDown后的状态，BD()表示BlockshuffleDown操作；

1-2.通过将在通道上叠加，完成时间、空间、角度信息的混合；再输入到含有ACA模块的时间超分辨率模块中隐式地学习前后帧的混合隐编码与输出对应像素之间的映射关系，最后得到时间超分辨率模块的输出具体为：

其中，Concat()表示通道叠加函数，H_SF表示使通道数减半的一个卷积层，H_RIR表示具有RIR结构的深层注意力卷积网络，RIR结构内部由许多个残差组和残差块构成，具体为：

F_g＝H_g(F_g-1)＝H_g(H_g-1(...H₁(F₀)))    (5)

F_DF＝F₀+F_g    (6)

＝F₀+H_g(H_g-1(...H₁(F₀)))    (7)

F_g，b＝H_g，b(F_g，b-1)

＝H_g，b(H_g，b-1(...H_g，1(F_g-1)))    (8)

F_g＝F_g-1+F_g，b

＝F_g-1+H_g，b(H_g，b-1(...H_g，1(F_g-1)))    (9)

其中，H_g表示第g个残差组，F_g表示通过g个残差组后生成的残差，H_g,b表示第g个残差组内部的第b个残差块，F_g,b表示通过第g个残差组中第b个残差块后生成的残差。

3.根据权利要求2所述的一种基于深度学习的光场视频时间-角度超分辨率网络，其特征在于所述每个残差块由SpatialConv-LeakyReLU-SpatialConv-ACA构成，其中每个2D卷积层均为3×3的SpatialConv，激活函数为LeakyReLU。