[发明专利]一种基于精简卷积神经网络的快速视频超分辨率重建方法

说明书

本发明涉及一种基于精简卷积神经网络的快速视频超分辨率重建方法，其既能利用视频帧之间的邻域信息，又保证重建速度。首先，考虑到输入的尺寸大小会直接影响网络的运算速度，本发明网络省去传统方法的预插值过程，直接对多个低分辨率输入视频帧提取特征，并进行多维特征通道融合；接着，为了避免网络中产生零梯度而丢失视频的重要信息，采用参数线性纠正单元作为激活函数，并采用更小的滤波器尺寸调整网络结构以进行多层映射；最后，在网络末端添加反卷积层上采样得到重建视频。同时，本发明还采用网络迁移策略快速实现了不同缩放因子下的重建模型，重建的视频图像中能够保留更多高频细节信息，同时重建速度更快。

技术领域

本发明涉及视频超分辨率重建技术领域，尤其是涉及一种基于精简卷积神经网络的快速视频超分辨率重建方法。

背景技术

近年来一些高清晰度视频显示器迅猛发展，给用户带来了一系列良好的视觉体验，使得视频通信和娱乐成为最有前途的服务之一，例如超高清(Ultra High Definition，UHD)电视。与此同时，由于视频拍摄设备的限制，大部分UHD分辨率的视频内容不能直接得到，因此，需要对所获取的低分辨率(Low-Resolution，LR)视频进行超分辨率(Super-Resolution,SR)重建，得到高分辨率(High-Resolution，HR)视频，从而满足用户日益增长的需求，该技术在最近几年已经成为国际上最为活跃的研究领域之一。

现有的视频超分辨率重建方法可以分为三大类：基于插值、基于多帧重建和基于单图重建的方法。第一类基于插值的方法的基本思想是采用插值核函数进行重建。目前使用最广泛的插值方法是双三次(Bicubic)插值，其像素值通过矩形网格中最近的十六个采样点的加权平均得到。该类方法实现较为简单，重建速度快，适合实时性的应用，但是会产生振铃和锯齿伪影现象，不能较好恢复图像在下采样过程中丢失的高频分量，因此其结果不足以满足实际需求。

第二类方法是基于多帧重建的方法，将多个相邻视频帧作为输入，并对其时域相关性建模，从而重建出HR视频。例如Shan等人提出快速视频重建(Fast video Upsampling，FUS)方法，结合了图像形成模型，并且考虑了自然图像统计，同时自动保持时域一致性，从输入数据中恢复出HR视频。然而其在抽取过程中丢失的边缘或纹理无法恢复，而且该类方法往往需要解决复杂的优化问题，重建速度偏慢。

第三类基于单图重建的方法的基本思路是通过训练集获取LR图像和HR图像之间的映射关系，从而对输入的LR图像寻找最优解。例如Yang等人采用一个复杂的稀疏编码(Sparse Coding，SC)模型，训练出高低分辨率字典，假定LR/HR图像块拥有共同的稀疏表达系数，由LR字典对应的稀疏表达系数与HR字典相乘得到HR图像块。然而，该类基于稀疏编码的SR方法计算量大，不适用于有实时要求的重建。随着深度神经网络成功应用于计算机视觉领域，研究者开始尝试用深度学习模型进行超分辨率重建。Dong等人首次提出基于卷积神经网络(Convolutional Neural Networks,CNN)的超分辨率重建模型(Super-Resolution Convolutional NeuralNetwork,SRCNN)，通过建立深度学习模型与稀疏编码模型之间的关系，直接学习LR图像到HR图像的端到端的映射。但是若直接将其应用于视频SR，会忽略视频帧之间的时域相关性。而这种时域相关性对视频SR至关重要。

虽然相关研究已经取得了较好的视频超分辨率重建效果，但在计算速度和重建效果上仍存在一定不足。

发明内容

本发明所要解决的技术问题是提供一种能够提高运算速度、增强网络学习能力，并且优化重建效果的基于精简卷积神经网络的快速视频超分辨率重建方法。

本发明所采用的技术方案是，一种基于精简卷积神经网络的快速视频超分辨率重建方法，包括以下步骤：