[发明专利]一种基于生成对抗网络的无参考视频质量评价方法及装置

权利要求书

1.一种基于生成对抗网络的无参考视频质量评价方法，其包括以下步骤：

S1：获取失真视频和原始参考视频，分别抽取所述失真视频、所述原始参考视频的视频帧，得到失真视频帧、原始参考视频帧；将所述失真视频帧、所述原始参考视频帧的格式转换成指定的图片格式；

其特征在于：

S2：分别按照指定的像素数将所述失真视频帧、所述原始参考视频帧切块，同时将切块后的失真视频帧按照指定的压缩比率进行压缩，获得失真视频帧块、原始参考视频帧块；

S3：构建生成对抗网络模型；所述生成对抗网络模型包括：生成网络、判别网络；

所述生成网络的输入为所述失真视频帧块，通过卷积和上采样得到所述失真视频帧块对应的复原的视频帧块；

所述判别网络的输入为所述生成网络生成的所述复原的视频帧块；

所述判别网络判断所述复原的视频帧块是否属于参考视频帧块；对于所述判别网络判断为不属于参考视频帧块的所述复原的视频帧块继续输入到所述生成网络中进行复原；

S4：训练所述生成对抗网络模型，得到训练好的所述生成对抗网络模型；

通过所述失真视频帧块训练所述生成网络，得到训练好的所述生成网络；

将所述复原的视频帧块和所述原始参考视频帧块作为输入训练所述判别网络，得到训练好的所述判别网络；

S5：对于所述判别网络判断为属于参考视频帧块的所述复原的视频帧块，获取其显著图，记做复原视频帧块的显著图；

S6:构建并训练视频质量评价网络模型；

所述视频质量评价网络模型的输入为所述失真视频帧块和与其对应的所述复原视频帧块的显著图；

将所述失真视频帧块和与其对应的所述复原视频帧块的显著图进行融合拼接，输入到所述视频质量评价网络模型中，提取融合图的空域特征后，利用所述视频质量评价网络模型中的全连接层预测失真视频帧块的质量分数，得到所述失真视频帧块对应的质量分数；

将所述失真视频帧块和与其对应的所述复原视频帧块的显著图训练所述视频质量评价网络模型，获得训练好的所述视频质量评价网络模型；

S7：将待评价失真视频进行抽帧、切块和压缩，得到所有的待评价失真视频帧块；

将每一个所述待评价失真视频帧块输入到训练好的所述生成对抗网络模型中，获得其对应的复原视频帧块；基于所述复原视频帧块提取待评价显著图；将所述待评价失真视频帧块、所述待评价显著图输入到训练好的所述视频质量评价网络模型中，得到所述待评价失真视频帧块对应的质量分数；

所述待评价失真视频的质量分数为所有的所述待评价失真视频帧块的质量分数的平均值。

2.根据权利要求1所述一种基于生成对抗网络的无参考视频质量评价方法，其特征在于：所述生成网络包括3个卷积层、20个残差模块、2个上采样模块；在第一个卷积层和第二个卷积层之间设置20个所述残差模块，在第二个卷积层和第三个卷积层之间设置2个所述上采样模块；每个所述残差模块包括依次连接的2个卷积层，每个所述上采样模块包括依次连接的1个卷积层和1个上采样层；每个卷积层都采用3×3大小的卷积核；

所述判别网络包括依次连接的11个卷积层和2个全连接层；每个卷积层都采用3×3大小的卷积核，所述判别网络中第一个全连接层单元个数设置为512，第二个全连接层单元个数设置为1。

3.根据权利要求1所述一种基于生成对抗网络的无参考视频质量评价方法，其特征在于：步骤S4中，训练所述生成对抗网络模型时，网络模型参数初始化设置为：训练批量大小设为10，所述生成网络的损失函数设为均方误差函数，所述判别网络的损失函数设为二分类交叉熵函数。

4.根据权利要求1所述一种基于生成对抗网络的无参考视频质量评价方法，其特征在于：所述视频质量评价网络模型包括5个卷积层，2个池化层以及1个全连接层；在第二个卷积层和第三个卷积层之间设置一个池化层，在第四个卷积层和第五个卷积层之间设置一个池化层，全连接层设置在第五个卷积层之后；每个卷积层都采用3×3大小的卷积核，每个池化层采用最大池化，全连接层单元个数设置为1；所述视频质量评价网络模型的参数初始化设置为：学习率设为0.00001，训练批量大小设为10，网络中偏置项进行全零初始化。