[发明专利]基于对抗网络和多被试脑电信号的视频质量评价方法

权利要求书

1.一种基于对抗网络和多被试脑电信号的视频质量评价方法，其特征在于，包括如下步骤：

(1)获取训练样本集、测试样本集和标注样本集：

(1a)以K-1个失真等级对一段时长为c的视频V_f进行失真处理，并将V_f作为未失真视频与失真处理得到的K-1个失真视频进行组合，得到混合视频集合V＝{V₁,V₂...V_k...V_K}，其中，1＜K＜10，0c5s，V_k表示第k个视频；

(1b)采集M个被试人员观看每个视频V_k的脑电信号，得到脑电信号集合X＝{X₁,X₂...,X_m...,X_M}，其中，5＜M＜30，X_m表示所采集的第m个被试人员观看视频V的脑电信号向量,表示所采集的第m个被试人员观看视频V_k的脑电信号；

(1c)将从脑电信号集合X中随机选取的一个脑电信号向量作为目标被试脑电数据E，将剩余的M-1个脑电信号向量作为源被试脑电数据F，对脑电信号集合X中的每个脑电信号进行标注，得到标注样本集其中，表示脑电信号集合X中第q个脑电信号及其标签，表示来自于目标被试脑电数据E，表示来自于源被试脑电数据F；

(1d)将半数以上目标被试脑电数据E中每个失真等级所对应的脑电信号以及源被试脑电数据F中每个失真等级所对应的脑电信号作为训练数据集，将其余目标被试脑电数据E中每个失真等级所对应的脑电信号作为测试数据集；

(1e)对训练数据集和测试数据集中的每个脑电信号进行标注，并将训练数据集中的每个脑电信号及其标签组合成训练样本集将测试数据集中的每个脑电信号及其标签组合成测试样本集其中，表示训练样本集中第n个脑电信号及其标签，表示未失真，表示失真，表示测试样本集中第o个脑电信号及其标签，表示未失真，表示失真；

(2)构建基于多被试对抗网络的视频质量评价模型G：

(2a)构建包括多被试对抗网络和失真分类器G_y的视频质量评价模型G，其中，多被试对抗网络包括公共特征提取器G_f以及与其级联的被试域判别器G_d，公共特征提取器G_f包括时域卷积层、空域卷积层、多个分离卷积层、多个BN层和多个池化层，被试域判别器G_d包括多个全连接层，失真分类器G_y包括多个全连接层；

(2b)定义被试域判别器G_d、失真分类器G_y和公共特征提取器G_f的损失函数和

其中，L表示损失函数NLL Loss，θ_f、θ_y、θ_d分别表示公共特征提取器G_f、失真分类器G_y、被试域判别器G_d的权重和偏差参数，d_i表示二值变量，d_i＝0表示来自目标被试脑电数据E，d_i＝1表示来自源被试脑电数据F；

(3)对视频质量评价模型G进行迭代训练：

(3a)初始化迭代次数为t，最大迭代次数为T，T≥200，当前视频质量评价模型为G^t，并令t＝1,G^t＝G；

(3b)固定被试域判别器G_d，将训练样本集中的每个训练样本作为视频质量评价模型G的输入，公共特征提取器G_f对进行时空特征提取，失真分类器G_y对G_f所提取的时空特征进行局部信息整合，得到的失真预测结果

(3c)采用损失函数并通过计算G^t的损失值L^t，再采用反向传播方法并通过L^t计算G_f和G_y的卷积核参数ω^t、各全连接层结点之间的连接参数θ^t的梯度，然后采用梯度下降算法通过G_f和G_y的卷积核参数ω^t、各全连接层结点之间的连接参数θ^t的梯度对G_f和G_y的参数ω^t、θ^t进行更新，得到更新后的G^t1；

(3d)固定公共特征提取器G_f和失真分类器G_y，将训练样本集中的每个训练样本作为视频质量评价模型G^t1的输入，公共特征提取器G_f对进行时空特征提取，被试域判别器G_d对G_f所提取的时空特征进行局部信息整合，得到的判别结果表示来自目标被试脑电数据E，表示来自源被试脑电数据F；

(3e)采用损失函数并通过计算G^t1的损失值L^t1，再采用反向传播方法并通过L^t1计算G_d各全连接层结点之间的连接参数θ^t1的梯度，然后采用梯度下降算法通过G_d的各全连接层结点之间的连接参数θ^t1的梯度对G_d的参数θ^t1进行更新，得到更新后的G^t2；

(3f)判断t＝T是否成立，若是，得到训练好的视频质量评价模型G^*，否则，令t＝t+1，并执行步骤(3b)；

(4)获取视频质量评价结果：

将测试样本集中的每个测试样本作为训练好的视频质量评价模型G^*的输入进行失真预测，得到的预测结果表示为未失真，表示为未失真。