[发明专利]基于通用视觉预训练模型的图像质量评价方法及系统

权利要求书

1.一种基于通用视觉预训练模型的图像质量评价方法，其特征在于，该方法包括：

步骤S10，通过模式识别方法获取存在设定类别异常的图像样本集；

步骤S20，进行所述图像样本集中每一个图像样本的异常筛查和标注，获得带标签的第一训练样本集；

步骤S30，构建基于深度学习的样本收集模型，并基于所述第一训练样本集进行模型的训练，获得训练好的样本收集模型；

步骤S40，设定所述训练好的样本收集模型的收集阈值，并在线收集带视频帧图像质量评价标注的第二训练样本集；

步骤S50，构建轻量化的基于视频的图像质量异常分类模型，并基于所述第二训练样本集进行模型的训练，获得训练好的图像质量异常分类模型；

步骤S60，通过所述训练好的图像质量异常分类模型，在线进行视频帧图像和/或单帧图像的质量异常分类。

2.根据权利要求1所述的基于通用视觉预训练模型的图像质量评价方法，其特征在于，步骤S20和步骤S30之间还设置有第一训练样本集增强步骤，其方法为：

步骤S20B，对所述第一训练样本集，通过部分区域擦除、左右翻转以及Mixup数据增强方法进行样本扩增，获得第一扩增训练样本集。

3.根据权利要求1所述的基于通用视觉预训练模型的图像质量评价方法，其特征在于，步骤S40和步骤S50之间还设置有第二训练样本集增强步骤，其方法为：

步骤S40B，对所述第二训练样本集，通过部分区域擦除、左右翻转以及Mixup的方法进行样本扩增，获得第二扩增训练样本集。

4.根据权利要求1所述的基于通用视觉预训练模型的图像质量评价方法，其特征在于，步骤S10包括：

通过信号丢失判断、模糊遮挡判断、偏色判断、亮度异常判断、丢帧判断、面向天空判断、面向地面判断中的一种或多种方法进行视频帧图像的模式识别，获得存在设定类别异常的图像样本集。

5.根据权利要求1所述的基于通用视觉预训练模型的图像质量评价方法，其特征在于，所述基于深度学习的样本收集模型为resnet101模型，RepVGG模型，resnext101模型和EfficientNet模型中的一种或多种。

6.根据权利要求5所述的基于通用视觉预训练模型的图像质量评价方法，其特征在于，所述基于深度学习的样本收集模型，其训练方法为：

步骤A10，构建所述基于深度学习的样本收集模型的训练过程的第一损失函数；所述第一损失函数为交叉熵损失函数和FocalLoss损失函数，或者EQL Loss损失函数；

步骤A20，将所述第一训练样本集中的第一样本序列输入构建的基于深度学习的样本收集模型中，获得第一样本序列对应的预测图像分类结果；

步骤A30，通过所述第一损失函数计算所述第一样本序列对应的预测图像分类结果与对应的标签之间的损失值；

步骤A40，若所述损失值大于设定第一阈值，则通过梯度反传进行模型参数更新，并跳转步骤A20，直至所述损失值不大于设定第一阈值或达到设定训练次数，获得训练好的样本收集模型。

7.根据权利要求1所述的基于通用视觉预训练模型的图像质量评价方法，其特征在于，所述轻量化的基于视频的图像质量异常分类模型为Resnet18+TSM模型、MobileNet+TSM模型和Shufflenet+TSM模型中的一种。

8.根据权利要求7所述的基于通用视觉预训练模型的图像质量评价方法，其特征在于，所述Resnet18+TSM模型包括顺次连接的1阶特征提取模块、2阶特征提取模块、3阶特征提取模块和4阶特征提取模块；

所述1阶特征提取模块、2阶特征提取模块、3阶特征提取模块和4阶特征提取模块分别包括2个基础模块；

所述基础模块，其奇数层为残差结构，偶数层为残差与时移模块组合结构；

所述时移模块为沿着时间维度向前和向后移动的通道，移动后，前后帧图像的信息与当前帧图像信息融合。