[发明专利]一种基于深度学习的老旧影片修复重制方法

说明书

本发明公开一种基于深度学习的老旧影片修复重制方法，其包括以下步骤：步骤1：将视频通过ffmpeg抽帧，并分别形成去隔行扫描模型、视频插帧模型、去模糊网络和超分辨率模型的训练数据集；步骤2：训练去隔行扫描网络模型；步骤3：训练视频插帧网络模型；步骤4：训练去模糊网络；步骤5：训练超分辨率网络；步骤6：训练去噪网络。本发明基于深度学习对老旧影片分别应用去隔行扫描，视频去噪，视频去模糊，视频插帧和超分辨率技术对其进行修复，与人工手动相比，稳定性更高，提高了运算速度，提高了图像复原的精确度。本发明处理后的图像复原效果好、复原后图像清晰度高、使用方便、成本低等优点。

技术领域

本发明涉及深度学习和计算机视觉，尤其涉及一种基于深度学习的老旧影片修复重制方法。

背景技术

影片文化遗产是一个国家和民族的珍贵记忆，是未来非物质文化遗产的重要组成部分，是近现代中华民族文化走出去的优良载体。对传统的红色电影、反映中国近现代拼搏奋斗的正能量精神的电影来说，能够利用现代技术加以复原并呈现的更加丰满。但由于过去拍摄技术限制，大量老旧影片已无法满足人们对高清视觉的观看需求。

我国需要修复的电影胶片数量庞大，现存的胶片电影光故事片就有二三万部，而如今每年仅可修复约60部老电影胶片。按照目前全国的修复速度，将会有不少拷贝在修复之前“死去”，目前国家已重视到情况的严重性，正大力支持和提倡老电影修复产业，但是有能力进行精致修复的经典影片仅有200部。为了对年代久远、损伤严重的影片进行较好的修复，需要通过图像重构技术等，“制造”出画面上已经消失的细节信息以及对影像去模糊超分辨率等处理翻新。人工精修，基本上一个工作人员一天只能完成100到200帧的画面修复，一部90分钟的电影，大约有12万9600帧画面。如果要一帧一帧地精细修复，一部电影起码要用几个月的时间，成本也在百万级。

发明内容

本发明的目的在于提供一种基于深度学习的老旧影片修复重制方法。

本发明采用的技术方案是：

一种基于深度学习的老旧影片修复重制方法，其包括以下步骤：

步骤1：将视频通过ffmpeg抽帧，并分别形成去隔行扫描模型的训练数据集、视频插帧模型的训练数据集、去模糊网络的训练数据集和超分辨率模型的训练数据集；

步骤2：训练去隔行扫描网络模型，输入隔行扫描的奇数场和偶数场图像块得到去隔行扫描的预测结果

步骤2.1：去隔行扫描网络包括特征提取模块、非线性映射模块和重建模块；去隔行扫描的特征提取模块和非线性映射模块由简单的串联卷积层堆叠而成，并且每个卷积层后都有ReLU作为激活函数，ReLU函数公式如下所示：

f(x)＝max(0，x)；

步骤2.2：使用MSE-1函数作为训练去隔行扫描网络模型的损失函数，MSE-1函数如下所示：

其中，MSE-1表示损失函数，为训练的输入目标图像块，为训练的网络输出的预测图像块；

步骤3：训练视频插帧网络模型，输入连续三张视频帧I^t-1、I^t、I^t+1，分别表示前一帧、当前帧和后一帧，得到当前帧I^t的预测结果I^t′，即为插帧网络的输出；

步骤3.1：视频插帧网络模型的非线性映射模块采取U-Net的网络结构，U-Net的网络结构包括编码模块和解码模块；编码模块包括串联卷积层和一个平均池化层；平均池化层的作用是对输出的特征图进行下采样，通过除去特征图中不重要的样本进一步减少参数量；解码模块依次包含串联卷积层和上采样层；

步骤3.2：使用MSE-2函数作为视频插帧网络中训练的损失函数，MSE-2函数如下所示：