[发明专利]基于三维时空特征分解的无参考视频质量评价方法

权利要求书

1.一种基于三维时空特征分解的无参考视频质量评价方法，其特征在于，构建时空失真特征学习模块从失真视频段中分别提取并学习时间和空间维度与人类视觉质量感知相关的失真特征，得到失真视频段对应的质量向量，利用构建的质量回归模块学习时间信息对视频质量的影响，从失真视频段质量向量中预测失真视频的质量分数；该方法具体步骤包括如下：

1)构建时空失真特征学习模块：

1a)搭建一个时空失真特征学习模块，该模块的结构依次为：粗特征提取单元→第1残差子单元→第1池化层→Non-Local单元→第2残差子单元→第2池化层→第3残差子单元→第3池化层→第4残差子单元→全局池化层→全连接层；其中：

所述粗特征提取单元的结构依次为：输入层→第1卷积层→第1批量归一化层→第2卷积层→第2批量归一化层→池化层；

将第1、2、3、4残差子单元中二维残差单元的卷积核扩充成三维，再将3×3×3的卷积核分解为3×1×1的一维时间卷积和1×3×3的二维空间卷积，得到每个残差子单元的结构依次为：特征提取层→时间特征卷积层、空间特征卷积层→特征融合层；

1b)设置时空失真特征学习模块的各单元参数如下：

将第1、2、3、4残差子单元的输入通道数依次设置为64、256、512、1024，输出通道数依次设置为256、512、1024、2048；

将第1、2、3池化层中的卷积核大小均设置为1×3×3，步长均设置为1×2×2；

将Non-Local单元的参数设置为256；

将全连接层的参数依次设置为2048、128、1；

在全局池化层，将提取到的2048个特征图全局池化为1个大小为2048的向量；

1c)设置粗特征提取单元中各层的参数如下：

将输入层的通道数设置为1；

将第1、2卷积层的卷积核数量均设置为64，卷积核大小依次设置为3×1×1、1×3×3，步长依次设置为2×1×1、1×2×2；

将第1、2批量归一化层的参数依次设置为3、64；

将池化层的卷积核大小设置为1×3×3，步长设置为1×2×2；

1d)设置残差子单元的参数如下：

将特征提取层的卷积核数量设置为输入通道数的1/2，卷积核的大小设置为1×1×1，步长为1；

将时间特征卷积层的卷积核数量设置为输入通道数，卷积核的大小设置为3×1×1，步长为1；

将空间特征卷积层的卷积核数量设置为输入通道数的4倍，卷积核的大小设置为1×3×3，步长为1×2×2；

在特征融合层，将上级网络提取到的时间特征和空间特征在特征通道维度进行拼接；

2)构建质量回归模块：

2a)搭建一个质量回归模块，其结构依次为：全连接层→长短期记忆神经网络层→分数融合层；

2b)设置质量回归模块的各层参数如下：

将全连接层的输入和输出尺寸分别设置为2048和256；

将长短期记忆神经网络的输入序列尺寸设置为256，隐藏层尺寸设置为32；

在分数融合层，对长短期记忆神经网络的输出取均值；

3)生成无参考的训练集：

将自然视频公知数据集中所有的无参考失真视频的亮度通道映射到[0,1]区间；将自然视频公知数据集中所有的无参考失真视频对应的质量分数映射到[0,100]区间；保存每个失真视频映射后的所有帧序列及其质量分数；将映射后80％的无参考失真视频组成训练集；

4)训练时空失真特征学习模块：

4a)将训练集中的每个失真视频以16帧的大小在时域上分解为不重叠的视频段，舍弃不满16帧的视频片段；

4b)将每个视频段依次输入到时空失真特征学习模块中，分别提取并学习时间和空间维度与质量感知相关的失真特征，时空失真特征学习模块的全局池化层输出视频质量向量，全连接层输出该视频段的预测质量分数，记录模块的两类参数W₁与b，其中，W₁表示时空失真特征学习模块中边连接的权值向量，b表示时空失真特征学习模块中下一层对上一层的偏置；

4c)利用最小绝对误差LAE的公式，计算时空失真特征学习模块的损失值，利用随机梯度下降法，更新参数W₁和b，得到训练好的时空失真特征学习模块；

5)训练质量回归模块：

5a)将时空特征学习模块中全局池化层输出的视频质量向量输入到质量回归模块中，学习时间信息对视频质量的影响；网络的输出为失真视频的质量分数和网络参数W₂；

5b)利用最小绝对误差LAE的公式，计算质量回归网络的损失值，利用随机梯度下降法，更新参数W₂，得到训练好的质量回归网络；

6)生成质量评价网络：

将训练好的时空失真特征学习模块和质量回归模块依次级联，组成基于三维时空特征分解的无参考视频质量评价网络；

7)输出每个失真视频的质量评价分数：

对待评价的无参考失真视频采用与步骤4a)中相同的方法进行分段，将每个视频段依次输入到训练好的质量评价网络中，输出视频质量分数。