[发明专利]一种基于深度学习的老旧影片修复重制方法

摘要

本发明公开一种基于深度学习的老旧影片修复重制方法，其包括以下步骤：步骤1：将视频通过ffmpeg抽帧，并分别形成去隔行扫描模型、视频插帧模型、去模糊网络和超分辨率模型的训练数据集；步骤2：训练去隔行扫描网络模型；步骤3：训练视频插帧网络模型；步骤4：训练去模糊网络；步骤5：训练超分辨率网络；步骤6：训练去噪网络。本发明基于深度学习对老旧影片分别应用去隔行扫描，视频去噪，视频去模糊，视频插帧和超分辨率技术对其进行修复，与人工手动相比，稳定性更高，提高了运算速度，提高了图像复原的精确度。本发明处理后的图像复原效果好、复原后图像清晰度高、使用方便、成本低等优点。

主权项

1.一种基于深度学习的老旧影片修复重制方法，其特征在于：其包括以下步骤：步骤1：将视频通过ffmpeg抽帧，并分别形成去隔行扫描模型的训练数据集、视频插帧模型的训练数据集、去模糊网络的训练数据集和超分辨率模型的训练数据集；步骤2：训练去隔行扫描网络模型，输入隔行扫描的奇数场和偶数场图像块得到去隔行扫描的预测结果步骤2.1：去隔行扫描网络包括特征提取模块、非线性映射模块和重建模块；去隔行扫描的特征提取模块和非线性映射模块由简单的串联卷积层堆叠而成，并且每个卷积层后都有ReLU作为激活函数，ReLU函数公式如下所示：f(x)＝max(0，x)；步骤2.2：使用MSE‑1函数作为训练去隔行扫描网络模型的损失函数，MSE‑1函数如下所示：其中，MSE‑1表示损失函数，为训练的输入目标图像块，为训练的网络输出的预测图像块；步骤3：训练视频插帧网络模型，输入连续三张视频帧It‑1、It、It+1，分别表示前一帧、当前帧和后一帧，得到当前帧It的预测结果It′，即为插帧网络的输出；步骤3.1：视频插帧网络模型的非线性映射模块采取U‑Net的网络结构，U‑Net的网络结构包括编码模块和解码模块；编码模块包括串联卷积层和一个平均池化层；平均池化层的作用是对输出的特征图进行下采样，通过除去特征图中不重要的样本进一步减少参数量；解码模块依次包含串联卷积层和上采样层；步骤3.2：使用MSE‑2函数作为视频插帧网络中训练的损失函数，MSE‑2函数如下所示：其中，MSE‑2表示损失函数，It为训练的输入目标图像块，It′为训练的网络输出的预测图像块；步骤4：训练去模糊网络；步骤4.1：对训练数据集中的子图像块进行归一化处理和提取Y通道数据，步骤4.2：将处理过后的模糊的子图像块利用残差网络模型分别经过特征提取、残差卷积和重建后获得去模糊的子图像块；步骤4.3：使用MSE‑3函数作为去模糊网络的损失函数，MSE‑3函数如下所示：其中，MSE‑3表示损失函数，为训练的输入目标图像块，为训练的网络输出的预测图像块；步骤5：训练超分辨率网络步骤5.1：对训练数据集中的子图像块进行归一化处理和提取Y通道数据，步骤5.2：输入处理过后的下采样子图像块利用超分辨率网络模型分别经过特征提取、非线性映射和重建得到网络输出步骤5.3：使用Charbonnier函数作为超分辨率网络的损失函数；步骤6：训练去噪网络，选用NTIRE2018所提供的数据集来进行训练；步骤6.1：对输入噪声图像利用去噪网络模型分别经过特征提取和非线性映射得到去噪网络输出；步骤6.2：使用Charbonnier函数作为去噪网络的损失函数。