[发明专利]一种基于卷积神经网络的图像或视频质量增强方法

摘要

本发明公开了一种基于卷积神经网络的图像或视频质量增强方法，属于计算机视觉领域；首先设计两个用于视频质量增强的卷积神经网络，两个网络具有不同的计算复杂度；然后选择若干个训练图像或视频对两个卷积神经网络中的参数进行训练；根据实际需要，选择一个计算复杂度较为合适的卷积神经网络，将质量待增强的图像或视频输入到选择的网络中；最后，该网络输出经过质量增强的图像或视频。本发明可以有效增强视频质量；用户可以根据设备的计算能力或剩余电量指定选用计算复杂度较为合适的卷积神经网络来进行图像或视频的质量增强。

主权项

一种基于卷积神经网络的图像或视频质量增强方法，其特征在于，包括如下步骤：(1)设计卷积神经网络A，用于视频或图像的质量增强；所述的网络A中，共有5个卷积层，设i表示卷积层的序号，Fi(Y)表示第i个卷积层的输出，Y表示质量待增强的图像或视频帧，Wi表示第i个卷积层的权重矩阵，Bi表示第i个卷积层的偏置矩阵；网络A的网络结构表示如下：F0(Y)＝YFi(Y)＝PReLU(Wi*Fi‑1(Y)+Bi),i∈{1,2,3,4}F5(Y)＝W5*F4(Y)+B5其中，*为卷积运算；PReLU运算为PReLU(x)＝max(0,x)+k·min(0,x)，x可表示任意数值，max(0,x)表示取0与x中的最大值，min(0,x)表示取0与x中的最小值，k为待训练的参数；定义Ki为第i个卷积层中各个节点的PReLU运算中的k组成的矩阵；网络A中，Wi、Bi和Ki都是待训练的参数；利用训练视频或图像训练网络A中所有待训练的参数；(2)基于网络A设计卷积神经网络B，用于视频或图像的质量增强；所述的网络B中，共有9个卷积层，设j表示卷积层的序号，Y表示质量待增强的图像或视频帧，Gj(Y)表示第j个卷积层的输出，在第1至第4个卷积层中，W′j表示第j个卷积层的权重矩阵；在第6至第8个卷积层中，W′j1为第j个卷积层中，用于卷积第(j‑5)个卷积层的数据的权重，W′j2为第j个卷积层中，用于卷积第(j‑1)个卷积层的数据的权重；在第9个卷积层中，W′91为第9个卷积层中，用于卷积第4个卷积层的数据的权重，W′92为第9个卷积层中，用于卷积第8个卷积层的数据的权重；B′j表示第j个卷积层的偏置矩阵；网络B的网络结构表示如下：G0(Y)＝YGj(Y)＝PReLU(W′j*Fj‑1(Y)+B′j),j∈{1,2,3,4}G5(Y)＝PReLU(W′5*F0(Y)+B′5)Gj(Y)＝PReLU(0,W′j1*Gj‑5(Y)+W′j2*Gj‑1(Y)+B′j),j∈{6,7,8}G9(Y)＝W′91*G4(Y)+W′92*G8(Y)+B′9其中，K′j为第j个卷积层中各个节点的PReLU运算中的k组成的矩阵，j＝1,2,…,8；网络B中的每个W′j、W′j1、W′j2、B′j和K′j矩阵都是待训练的参数；利用训练视频或图像训练网络B中所有待训练的参数；(3)用户选择质量待增强的视频帧或图像的通道，根据设备的计算能力或剩余电量指定使用网络A还是网络B进行质量增强。