[发明专利]一种基于记忆增强的视频去雨方法与装置

权利要求书

1.一种基于记忆增强的视频去雨方法，其步骤包括：

1)将卷积长短期记忆网络的内部状态作为全局长期记忆；对于待去雨处理的目标视频，将该目标视频的前n帧分别输入记忆增强去雨网络，获得各帧对应的去雨结果；所述记忆增强去雨网络包括U-Net网络、卷积网络Conv和局部卷积网络；其中，所述U-Net网络，用于根据当前待去雨帧I_t的前多帧的去雨结果提取短期时域信息γ_t并将其输入所述卷积网络Conv；所述卷积网络Conv，用于根据短期时域信息γ_t和当前的全局长期记忆ε_t生成局部卷积系数C_t，并将其输入所述局部卷积网络；所述局部卷积网络，用于根据局部卷积系数C_t和当前待去雨帧I_t，生成当前待去雨帧I_t的去雨结果

2)对于该目标视频的第n帧之后的每一帧，执行步骤a)～c)，获得该目标视频对应的去雨视频；

a)将当前待去雨帧的前多帧的去雨结果、当前的全局长期记忆、当前待去雨帧输入记忆增强去雨网络进行去雨，得到当前帧的去雨结果；

b)计算当前待去雨帧与其去雨结果之间的差值，作为当前待去雨帧的雨痕图；

c)将当前待去雨帧的雨痕图输入卷积长短期记忆网络，更新该卷积长短期记忆网络的内部状态作为新的全局长期记忆，即更新所述全局长期记忆。

2.如权利要求1所述的方法，其特征在于，所述步骤1)中，n取值为2，即将该目标视频的前两帧I₁以及I₂分别输入记忆增强去雨网络，获得对应的去雨结果以及将全局长期记忆初始化为0，即ε₀＝0。

3.如权利要求1或2所述的方法，其特征在于，步骤a)中，将当前待去雨帧的前两帧的去雨结果、当前的全局长期记忆、当前待去雨帧输入记忆增强去雨网络进行去雨，得到当前帧的去雨结果。

4.如权利要求1所述的方法，其特征在于，所述卷积网络Conv由三层卷积层依次连接组成。

5.一种基于记忆增强的视频去雨装置，其特征在于，包括卷积长短期记忆网络、记忆增强去雨网络；其中

所述记忆增强去雨网络，用于将当前待去雨帧的前多帧的去雨结果、当前的全局长期记忆、当前待去雨帧输入记忆增强去雨网络进行去雨，得到当前帧的去雨结果；所述记忆增强去雨网络包括U-Net网络、卷积网络Conv和局部卷积网络；其中，所述U-Net网络，用于根据当前待去雨帧I_t的前多帧的去雨结果提取短期时域信息γ_t并将其输入所述卷积网络Conv；所述卷积网络Conv，用于根据短期时域信息γ_t和当前的全局长期记忆ε_t生成局部卷积系数C_t，并将其输入所述局部卷积网络；所述局部卷积网络，用于根据局部卷积系数C_t和当前待去雨帧I_t，生成当前待去雨帧I_t的去雨结果

所述卷积长短期记忆网络，用于将当前待去雨帧的雨痕图更新卷积长短期记忆网络的内部状态作为新的全局长期记忆，即更新所述全局长期记忆；其中，通过计算当前待去雨帧与其去雨结果之间的差值，作为当前待去雨帧的雨痕图。

6.如权利要求5所述的视频去雨装置，其特征在于，所述卷积网络Conv由三层卷积层依次连接组成。

7.如权利要求5所述的视频去雨装置，其特征在于，对于待去雨处理的目标视频，将该目标视频的前n帧分别输入记忆增强去雨网络，获得各帧对应的去雨结果；将全局长期记忆初始化为0。

8.如权利要求5所述的视频去雨装置，其特征在于，将当前待去雨帧的前两帧的去雨结果、当前的全局长期记忆、当前待去雨帧输入记忆增强去雨网络进行去雨，得到当前帧的去雨结果。