[发明专利]用于用户原创视频的双流时序自适应选择视频质量评价方法

权利要求书

1.一种用于用户原创视频的双流时序自适应选择视频质量评价方法，其特征在于，包括如下步骤：

步骤1：基于内容权重分配帧内质量感知模块；

步骤2：双流全局时域建模；

步骤3：双流更深层次损失函数权重分配。

2.根据权利要求1所述的用于用户原创视频的双流时序自适应选择视频质量评价方法，其特征在于，步骤1包括如下具体步骤：

内容感知特征提取中，采用多感知层次的特征提取模块；对于帧内特征，分层低级纹理特征/颜色特征和高阶语义特征被同时纳入参考因素，其表达式如下：

采用ResNet-50作为主干网络，其中表示不同感知层次的帧内特征图，从不同角度角度对帧进行描述；在帧内特征图中引入基于显著性感知的不均匀采样，其表达式如下：

表示引入显著性感知特性后的感知特征图，其中，Saliency表示为权衡特征尺度与帧内感知细粒度而提出的显著点窗行特征提取方式，采用FT法进行提取显著性图，公式如下：

其中，表示原图经过高斯滤波后的Lab颜色空间图，I_μ表示中Lab颜色空间中各个通道的均值，||·||表示欧式距离计算；

采用均值聚合与标准差聚合两种方式对帧内特征图中进行不均匀抽取，提出显著性最大的点的窗型特征：

其中，AP表示均值聚合，SD表示标准差聚合，[·]_λ表示基于最大显著点选取的窗大小为λ的提取方式；其中三个尺度的深度特征图在均值聚合与标准差聚合中结合平均池化和标准偏差方式，生成两个初始多尺度深度特征和

通过探索具有双流框架的内容注意分配机制之间的相互依赖性，采用如下的权重分配方式：

其中，σ(·)，δ(·)，α(·)分别表示Sigmoid，ReLu与帧间均值聚合，W2(W4)表示以压缩率为r＝0.5的1×1卷积层；之后通过ReLu函数引入非线性因素，再次引入另一个1×1卷积层，其参数用W1(W3)表示，以同样的r倍来扩展恢复原有的维度；接着，通过Sigmoid函数的权重再分配，得到更准确的帧内特征表征

最后，通过拼接函数聚合得到帧内特征的表示：

其中，St是当前帧的空域特征。

3.根据权利要求2所述的用于用户原创视频的双流时序自适应选择视频质量评价方法，其特征在于，步骤2具体包括如下步骤：

采用GRU作为RNN模块引入时序信息，首先引入双向感知建模，根据当前输入x_t和先前的隐藏状态h_t-1计算出的当前隐藏状态h_t，即：

其中,x_f,x_b分别表示正向串行与反向串行，h₀表示初始状态为0的隐状态；通过RNN的时序建模，得到包含时序信息的帧内特征；其中分别表示前向时序信息和后向时序信息，表示最后一帧的隐状态信息；

提出反向更深层次建模，即：

其中,表示时序上的反向操作，表示包含深层后向时域信息的帧内特征，表示包含深层后向时域信息处理后最后的隐状态；

使用Dual Deeper GRU(DDGRU)结构：

其中,表示包含深层前向时域信息的帧内特征，表示深层前向时域信息处理后最后的隐状态；

分别表示前向浅层特征，后向浅层特征，前向深层特征，后向深层特征，最后通过一个单独的全连接层进行计算整个视频得分Q：

其中，W_hQ与b_hQ表示权重系数和偏置系数。

4.根据权利要求3所述的用于用户原创视频的双流时序自适应选择视频质量评价方法，其特征在于，步骤3具体包括如下步骤：

在给定输入失真视频Y的情况下，将深度监控的损失函数描述为几个旁路输出损失的加权和，预测总损失可以计算为：

其中，L_m对应第m次输出与标签的损失函数，N＝3，其中α_m表示不同时序结构的不同权重系数，β是通过学习得到的用于平衡两个损失的超参数，L_out是最后输出层的损失函数。