[发明专利]基于编码损伤修复的视频超分辨方法

说明书

本发明提出了一种基于编码损伤修复的视频超分辨方法，其实现步骤为：构建深度卷积神经网络；生成训练数据集；训练深度卷积神经网络；对视频图像进行下采样；对低分辨率视频进行编解码；对重建视频进行图像超分辨处理。本发明解决了现有视频图像超分辨方法中存在的无法达到实时处理要求、针对图像编码损伤的修复不足与放大尺度不足的问题，增强了网络针对编码损伤的学习能力，提升了图像超分辨的处理范围、处理速度与解码后的视频质量。

技术领域

本发明属于图像处理技术领域，更进一步涉及视频图像处理技术领域中的一种基于编码损伤修复的视频超分辨方法。本发明可用于修复视频压缩编解码后低码率视频图像编码损伤进而提升图像分辨率。

背景技术

目前最新的高效视频编码标准HEVC/H.265是一种在传输视频过程中降低视频冗余数据的有效手段，可减少传输压力，适应更为广泛的传输条件。在采用低码率编码视频图像时，编解码后的图像与原始视频图像相比具有视频压缩编码损伤，主观上表征为较明显的图像失真，具体体现为方块效应、振铃效应等视觉失真。且经低码率编码得到的低清晰度视频经放大后，其图像失真也会被放大，主观上图像质量更差。视频图像超分辨技术作为图像的后处理技术，在视频的压缩编码传输应用场景中，可用于低带宽传输条件时低清晰度视频的图像质量增强。作为深度学习网络中的一种，残差卷积神经网络由于具有卷积层和残差连接等结构，能够很好地提取图像特征，可在保留图像细节的前提下完成低清晰度视频图像的编码损伤修复，进而完成视频图像超分辨的功能。

Lai W.S.,Huang J.B.,Ahuja N.等人在其发表的论文“Deep Laplacian PyramidNetworks for Fast and Accurate Super-Resolution”(IEEE Conference on ComputerVision and Pattern Recognition(CVPR),2017:5835-5843.)中公开了一种基于深度学习网络的单张图像超分辨处理办法。该方法使用了基于拉普拉斯金字塔构架的一种残差式卷积神经网络结构，生成原低分辨率图像对应的高分辨率图像。该方法在进行图像超分辨处理时不需要上采样插值操作，并可以提供端到端的渐进式图像超分辨功能。但是，该方法仍然存在的不足之处是：在训练深度神经网络模型时使用的训练集对编码损伤针对不足，且采用的深度神经网络结构庞大，使得该方法不能很好地修复重建图像的视频编码损伤，同时无法达到实时处理的要求。

西安电子科技大学在其申请的专利文献“基于图像重构卷积神经网络的低码率视频编解码方法”(专利申请号：201910182160.5，公开号：CN 110087092 A)中提出了一种基于图像重构卷积神经网络的低码率视频编解码方法。该方法对输入视频通过下采样操作后得到低分辨率的视频，再使用标准x265编解码器对低分辨率视频进行视频编解码，得到解码后的低分辨率视频，将解码后的低分辨率视频输入到训练好的图像重构卷积神经网络，然后得到与输入视频相同分辨率的重构视频。该方法能够解决传统方法中低码率下视频编解码后视频有严重压缩失真的问题，较好地保留图像细节。但是，该方法仍然存在的不足之处是：对输入视频仅进行了一次下采样，所以仅能处理单一放大倍数的视频图像超分辨问题，而不能兼顾同等条件下，多个倍数的图像超分辨问题，即在图像超分辨处理上的尺度不足。

发明内容

本发明的目的在于克服上述现有技术存在的不足，提出了一种基于编码损伤修复的视频超分辨方法，用于解决现有视频图像超分辨方法中存在的无法达到实时处理要求、针对图像编码损伤的修复不足与放大尺度不足的问题。

实现本发明目的的具体思路是：首先获得视频编码图像的损伤特征与视频原始图像的高频信息，然后利用深度学习的方法，完成对目标视频图像的编码损伤和高频信息的估计，可适用于低清晰度视频编码图像的损伤修复与图像超分辨。

实现本发明目的的具体步骤如下：

步骤1，构建深度卷积神经网络：