[发明专利]基于主动学习的图像视频质量评价模型的训练方法以及装置

权利要求书

1.一种基于主动学习的图像视频质量评价模型的训练方法，其特征在于，包括：

获取待评价样本和k个已标注样本，0＜k；

以所述待评价样本和所述k个已标注样本为输入，利用质量评价模型得到所述待评价样本相对所述k个已标注样本中的第i个已标注样本的平均主观打分MOS偏移量，0＜i≤k；

将所述第i个已标注样本的MOS与所述待评价样本相对所述第i个已标注样本的MOS偏移量之和，确定为所述待评价样本的第i个预测MOS；

基于所述待评价样本相对所述k个已标注样本中的每一个已标注样本的MOS偏移量，得到所述待评价样本的k个预测MOS；

基于所述k个预测MOS间的差异，确定所述待评价样本的不确定性；

在基于所述待评价样本的不确定性，确定所述待评价样本用于训练所述质量评价模型的情况下，以主观打分的方式获取所述待评价样本的MOS并基于所述k个已标注样本的MOS和所述待评价样本的MOS，重新训练所述质量评价模型；

所述利用质量评价模型得到所述待评价样本相对所述k个已标注样本中的第i个已标注样本的平均主观打分MOS偏移量，包括：

基于所述待评价样本和所述第i个已标注样本，生成第i个样本对；

以所述第i个样本对为输入，利用质量评价模型得到所述待评价样本相对所述第i个已标注样本的MOS偏移量；

所述质量评价模型包括第一模型和第二模型，所述第一模型的骨干网络和所述第二模型的骨干网络共享网络参数；所述以所述第i个样本对为输入，利用质量评价模型得到所述待评价样本相对所述第i个已标注样本的MOS偏移量，包括：

以所述第i个已标注样本为输入，利用所述第一模型中的骨干网络得到所述第i个已标注样本的样本特征；基于所述第i个已标注样本的样本特征，利用所述第一模型中的池化层对所述第i个已标注样本的MOS进行池化，得到所述第i个已标注样本的压缩特征；

以所述待评价样本为输入，利用所述第二模型中的骨干网络得到所述待评价样本的样本特征；基于所述待评价样本的样本特征，利用所述第二模型中的池化层对所述待评价样本的MOS进行池化，得到所述待评价样本的压缩特征；

以所述第i个已标注样本的压缩特征和所述待评价样本的压缩特征拼接后形成的特征为输入，利用所述质量评价模型中的全连接层得到所述待评价样本相对所述第i个已标注样本的MOS偏移量。

2.根据权利要求1所述的方法，其特征在于，所述以所述第i个已标注样本为输入，利用所述第一模型中的骨干网络得到所述第i个已标注样本的样本特征，包括：

若所述待评价样本为多个样本中的第一个样本，以所述第i个已标注样本为输入，利用所述第一模型中的骨干网络得到所述第i个已标注样本的样本特征；

所述方法还包括：

存储所述第i个已标注样本的样本特征，所述第i个已标注样本的样本特征用于确定所述多个样本中的其他样本相对所述第i个已标注样本的MOS偏移量。

3.根据权利要求1所述的方法，其特征在于，所述基于所述k个预测MOS间的差异，确定所述待评价样本的不确定性，包括：

将所述k个预测MOS的标准差，确定为所述待评价样本的不确定性。

4.根据权利要求1所述的方法，其特征在于，所述基于所述k个预测MOS间的差异，确定所述待评价样本的不确定性，包括：

对所述k个预测MOS进行预处理；

基于预处理后的所述k个预测MOS间的差异，确定所述待评价样本的不确定性。

5.根据权利要求1所述的方法，其特征在于，所述基于所述待评价样本的不确定性，确定所述待评价样本用于训练所述质量评价模型时，以主观打分的方式获取所述待评价样本的MOS并基于所述k个已标注样本的MOS和所述待评价样本的MOS，训练所述质量评价模型，包括：

将多个样本按照不确定性从大到小的排序进行排序，以得到候选列表；

选择所述候选列表中的前b个所述待评价样本进行主观打分，0＜b；

利用所述k个已标注样本和新标注的所述前b个所述待评价样本，训练所述质量评价模型。