[发明专利]一种基于迁移学习的光场图像雨条纹检测与去除方法

权利要求书

1.一种基于迁移学习的光场图像雨条纹检测与去除方法，其特征在于，所述方法包括深度图计算模块、雨条纹检测模块和雨水去除模块；

其中，所述深度图计算模块通过计算得到深度图；

所述雨条纹检测模块检测出合成数据雨条纹图，同时，利用高斯过程模块自监督地检测出真实场景数据雨条纹图；

所述雨水去除模块，将带雨3DEPI体积块、深度图计算模块得到的深度图和雨条纹检测模块提取的雨条纹图串联之后，输入3D递归生成对抗网络到中进行雨水的去除，并修复背景，如此反复训练，直到得到高质量的无雨图。

2.根据权利要求1所述的一种基于迁移学习的光场图像雨条纹检测与去除方法，其特征在于，所述深度图计算模块，首先利用多流神经网络从不同的方向提取光场子视点的信息，然后进入融合网络计算深度图。

3.根据权利要求2所述的一种基于迁移学习的光场图像雨条纹检测与去除方法，其特征在于，所述的深度图包括合成数据深度图和真实场景深度图；其中，合成数据深度图由合成数据进入深度图计算模块得到；真实场景深度图由真实场景数据进入深度图计算模块得到。

4.根据权利要求1所述的一种基于迁移学习的光场图像雨条纹检测与去除方法，其特征在于，所述雨条纹检测模块，以光场图像一行子视点堆叠而成的3DEPI体积块为输入，利用残差网络进行雨条纹的特征提取，在每层卷积中，通过高斯过程对提取的合成数据特征和真实场景数据特征进行建模，得到真实场景数据的伪真值，伪真值进一步用于监督网络对真实场景数据特征的提取。

5.根据权利要求1所述的一种基于迁移学习的光场图像雨条纹检测与去除方法，其特征在于，所述的雨条纹图包括合成数据雨条纹图和真实场景雨条纹图；其中，合成数据雨条纹图由合成数据进入雨条纹检测模块得到；真实场景雨条纹图由真实数据进入雨条纹检测模块得到。

6.根据权利要求1所述的一种基于迁移学习的光场图像雨条纹检测与去除方法，其特征在于，所述雨水去除模块，设有LSTM层和判别器结构。

7.根据权利要求6所述的一种基于迁移学习的光场图像雨条纹检测与去除方法，其特征在于，所述的LSTM层用以传播每次迭代卷积层之间的特征。

8.根据权利要求7所述的一种基于迁移学习的光场图像雨条纹检测与去除方法，其特征在于，所述的每次迭代，利用长短时记忆网络进行特征的传递。

9.根据权利要求6所述的一种基于迁移学习的光场图像雨条纹检测与去除方法，其特征在于，所述的判别器的损失函数为：

其中，y为生成器输出的干净图像，y_gt为相应的真值，D(·)为判别器网络卷积操作。