[发明专利]一种融合时空特征的无参考视频质量评估方法

权利要求书

1.一种融合时空特征的无参考视频质量评估方法，其特征在于，包括以下步骤:

步骤S1:获取视频数据集，作为训练集；

步骤S2:构建空域特征提取子网络，并基于训练集下采样得到的帧集合训练；

步骤S3:构建时域特征提取子网络，并基于训练集的残差图像序列训练；

步骤S4:根据训练后的空域特征提取子网络和时域特征提取子网络，构建视频质量评估网络，并通过注意力机制自适应的调整时域和空域特征对于视频感知质量的影响，训练得到视频质量评估模型；

步骤S5:根据得到的视频质量评估模型，提取待测视频的时域和空域特征，并计算待测视频的质量分数。

2.根据权利要求1所述的一种融合时空特征的无参考视频质量评估方法，其特征在于，所述步骤S2具体为：

步骤S21:对训练集每个视频均匀下采样，采样频率为每f帧取一帧，并且将视频的质量分数作为每帧的质量分数，得到一个训练帧集合；

步骤S22:根据图像分类网络作为主干网络，构建空域特征提取子网络，并预训练；

步骤S23:固定主干网络中预训练好的参数，根据训练帧集合训练空域特征提取子网络，通过最小化训练帧集合中所有帧的预测质量分数和真实质量分数之间的均方误差损失，学习到模型最优参数，完成对空域特征提取子网络的训练过程。

3.根据权利要求2所述的一种融合时空特征的无参考视频质量评估方法，其特征在于，所述空域特征提取子网络具体为：将VGG16、ResNet50或Densenet作为主干网络，将主干网络最后一层卷积层之后的部分代替为以下部分：首先用一个通道数为C的1×1卷积层得到视频帧的空域特征图然后对空域特征图F_s进行全局平均池化和全局标准差池化，并将池化后的两个向量拼接，最后采用一个全连接层将拼接后的向量映射为视频帧的质量分数，修改后的网络作为视频的空域特征提取子网络。

4.根据权利要求1所述的一种融合时空特征的无参考视频质量评估方法，其特征在于，所述步骤S3具体为：

步骤S31:构建一个由多个3D卷积层组成的神经网络作为视频时域特征提取子网络；

步骤S32:将训练集视频划分为若干子视频，将训练集中所有视频得到的子视频作为子视频集合，每个子视频的真实质量分数为其对应视频的真实质量分数；

步骤S33:使用子视频集合，以批次为单位，训练时域特征提取子网络；通过最小化子视频的预测质量分数和真实质量分数之间的均方误差损失，学习模型的最优参数，完成对时域特征提取子网络的训练过程。

5.根据权利要求4所述的一种融合时空特征的无参考视频质量评估方法，其特征在于，所述时域特征提取子网络依次由3D卷积模块、池化模块和回归模块组成，具体为：3D卷积模块有6个3D卷积层，前5层卷积层的卷积核大小为3×3×3，最后一层卷积核大小是1×1×m；每个卷积层后面都使用了激活函数ReLU，最后一个3D卷积层的通道数为C；所述3D卷积模块的输出为输入子视频的时域特征图所述池化模块是由一个全局最大池化层组成，实现时域特征图F_t到特征向量的转化；所述回归模块是由一个全连接层组成，用于实现特征向量和质量分数的映射。

6.根据权利要求4所述的一种融合时空特征的无参考视频质量评估方法，其特征在于，所述步骤S32具体为：将训练集一个视频划分为若干个等长的子视频，每个子视频包含连续的m帧；对每个子视频计算相应的残差图像序列，计算公式如下：

RF_i～j＝F_i+1～j-F_i～j-1

其中，F_i代表视频的第i帧，使用F_i～j代表从视频第i帧到视频第j帧的一段子视频，RF_i～j代表该段子视频的残差图像序列；

将每个子视频的残差图像序列输入步骤S31中设计的网络，首先通过3D卷积模块得到一个C×H×W的时域特征图F_t，其中C，H，W分别为特征图的通道数、高和宽，然后经过池化模块得到C×1的向量，并通过回归模块映射得到该子视频的质量分数。