[发明专利]视频质量分析引擎的创建方法、视频质量分析方法及设备

说明书

本公开提供了一种视频质量分析引擎的创建方法、视频质量分析方法及设备。所述视频质量分析引擎的创建方法包括：获取多任务模型，其中，所述多任务模型包括：与多个视频质量分析任务对应的多个机器学习模型；在同一网络中创建与所述多个机器学习模型对应的多个模型，其中，所述多个模型符合所要创建的推理引擎的格式；调用构建器，基于包括所述多个模型的网络创建所述推理引擎，其中，所述推理引擎为用于运行所述多个模型的视频质量分析引擎，其中，所述视频质量分析引擎运行时，所述视频质量分析引擎的输入量作为所述多个模型的输入量，且所述多个模型的输出量作为所述视频质量分析引擎的输出量。

技术领域

本公开总体说来涉及电子技术领域，更具体地讲，涉及一种视频质量分析引擎的创建方法、视频质量分析方法及设备。

背景技术

随着短视频领域的蓬勃发展，视频的质量分析与评估在许多领域具有广泛的实用性，例如，图像压缩、视频编解码、视频监控等。常用的视频质量分析评估特征包括噪声、对焦、曝光、抖动、清晰度、颜色等。相对于人工进行主观评估，使用客观的数学模型进行自动预测既能够节省评估成本，同时也不受观看距离、显示设备、照明条件、情绪等诸多主观因素的影响，具有较高的实用价值。

在分析视频的不同质量特征时往往需要使用不同的模型进行处理，这被称作多任务视频质量分析。多任务视频质量分析相较于单任务视频质量分析能够更详细、有效地描述视频的质量。但在实际部署过程中多任务模型相较于单任务模型对GPU的显存占用更多，同时需要更长的推理耗时。因此，如何有效降低多任务模型的部署显存要求、提升推理速度，是一个亟待解决的问题。

发明内容

本公开的示例性实施例在于提供一种视频质量分析引擎的创建方法、视频质量分析方法及设备，以至少解决上述相关技术中的问题，也可不解决任何上述问题。

根据本公开实施例的第一方面，提供一种视频质量分析引擎的创建方法，包括：获取多任务模型，其中，所述多任务模型包括：与多个视频质量分析任务对应的多个机器学习模型；在同一网络中创建与所述多个机器学习模型对应的多个模型，其中，所述多个模型符合所要创建的推理引擎的格式；调用构建器，基于包括所述多个模型的网络创建所述推理引擎，其中，所述推理引擎为用于运行所述多个模型的视频质量分析引擎，其中，所述视频质量分析引擎运行时，所述视频质量分析引擎的输入量作为所述多个模型的输入量，且所述多个模型的预测结果作为所述视频质量分析引擎的输出量。

可选地，所述多个视频质量分析任务包括以下项之中的至少一项：噪声特征分析任务、抖动特征分析任务、曝光特征分析任务、模糊特征分析任务。

可选地，所述多个机器学习模型为深度学习模型，其中，获取多任务模型的步骤包括：分别训练与所述多个视频质量分析任务中的每个视频质量分析任务对应的机器学习模型；分别针对训练好的每个机器学习模型，对所述每个机器学习模型进行层参数融合，以得到更新后的每个机器学习模型。

可选地，分别针对训练好的每个机器学习模型，对所述每个机器学习模型进行层参数融合的步骤包括：分别针对训练好的每个机器学习模型，将所述每个机器学习模型中的归一化层等效替换为一个1×1大小的卷积层，并将所述卷积层与所述归一化层前序相邻的卷积层进行参数合并。

可选地，所述创建方法还包括：对创建好的视频质量分析引擎进行序列化处理；保存序列化处理后的视频质量分析引擎。

可选地，在同一网络中创建与所述多个机器学习模型对应的多个模型的步骤包括：使用所述推理引擎的模型定义方式重新限定所述多个机器学习模型的模型结构，并限定将所述多个机器学习模型的参数赋予给对应的所述多个模型的赋予方式；在同一网络中，按照重新限定的所述多个机器学习模型的模型结构以及限定的赋予方式，创建与所述多个机器学习模型对应的所述多个模型。