[发明专利]一种基于门控卷积-长短记忆网络的时间序列影像重建方法

权利要求书

1.一种基于门控卷积-长短记忆网络的时间序列影像重建方法，其特征在于，输入部分区域缺失的时间序列影像I及其标识缺失区域的掩膜M，包含如下几个关键步骤：

步骤1：生成器训练；

步骤2：分类器训练；

步骤3：缺失区域重建。

2.根据上述的一种基于门控卷积-长短记忆网络的时间序列影像重建方法，其特征在于，所述的步骤1包括：

子步骤1：基于GatedConvLSTM的时序影像特征提取

输入影像掩膜M和时间序列影像I，通过卷积神经网络GatedConvLSTM提取影像的时间序列特征和隐藏特征

其中，GatedConvLSTM1的下标1表示分类器的层次。

子步骤2：基于GatedConv3d的影像下采样

将提取的特征通过三维门控卷积(GatedConv3d)进行空间分辨率下采样获得下采样特征

根据子步骤1和2同理可得：

子步骤3：基于GatedConv3d的多尺度空洞特征融合

将提取到特征通过四个空洞率(Dilated)分别为2，4，6，8的GatedConv3d融合，得到深度融合特征F_B，

子步骤2、3相当于一个编码过程，即将时序影像编码为特征，

子步骤4：影像特征连接

深度融合特征F_B通过与之前GatedConvLSTM得到的特征组合并输入门控卷积获得预上采样特征

子步骤5：影像特征上采样

将预上采样特征和同一尺度GatedConvLSTM处理后获得隐藏特征输入到当前GatedConvLSTM，以维持网络特征上时间维度的联系，

将特征通过上采样门控卷积放大两倍。

根据子步骤4和5同理可得：

子步骤6：时间序列影像生成

经上采样-下采样的结构和步骤，最后使用门控卷积输出修复后的时间序列影像I_out，

3.根据权利要求1或2所述的一种基于门控卷积-长短记忆网络的时间序列影像重建方法，其特征在于，所述的步骤2包括：将真实时序影像和生成影像输入到分类器C，判断该影像是真实的，还是分类器合成的影像。

4.根据权利要求3所述的一种基于门控卷积-长短记忆网络的时间序列影像重建方法，其特征在于，判断方法具体为一种多时相光谱局部判别器，由6个卷积核为3×5×5、步长为1×2×2的3d卷积组成，判别器的每个卷积层都使用了光谱归一化，来稳定训练，另外，我们使用了最小二乘生成对抗网络的训练形式，判别器的优化函数如下：

其中，G表示生成器；D表示判别器；z代表输入的缺失序列；a和c都代表真，用1表示，b代表假。

5.根据权利要求1或2所述的一种基于门控卷积-长短记忆网络的时间序列影像重建方法，其特征在于，所述的步骤3包括：步骤部分区域缺失的影像I_j至步骤1训练完成的生成器G，获得时间序列重建影像I_out。

6.根据权利要求2所述的一种基于门控卷积-长短记忆网络的时间序列影像重建方法，其特征在于，步骤1的子步骤1中采用门控卷积结合长短记忆网络分别来提取空间及其时间特征。

7.根据权利要求2所述的一种基于门控卷积-长短记忆网络的时间序列影像重建方法，其特征在于，所述步骤1中的子步骤2和5分别采用下采样和上采样从而多尺度等融合影像信息。