[发明专利]视频片段分类模型构建方法、系统、电子设备及存储介质

说明书

本发明提出一种视频片段分类模型构建方法、系统、电子设备及存储介质，其方法技术方案包括第一模型训练步骤，获取用于训练的一视频集，并获取所述视频集中的视频的标注数据，根据所述标注数据训练得到一第一模型；训练集预过滤步骤，使用所述第一模型对所述视频集中不符合一预设规则的所述视频进行过滤；视频特征获取步骤，使用一第二模型对过滤后的所述视频集进行预测，获取所述视频集的特征；分类模型构建步骤，根据所述视频集的特征，通过反向传播构建一视频片段分类模型。本发明解决了现有视频片段分类方法不灵活、且对标签和类别问题考虑欠缺的问题。

技术领域

本发明属于机器学习领域，尤其涉及一种视频片段分类模型构建方法、系统、电子设备及存储介质。

背景技术

在当下一个多媒体技术广泛应用的时代，图像和视频类型的多媒体素材在日常生活中大量涌现，在一些短视频网站，用户会上传大量自己制作的视频，每个视频在不同的片段，会表达着不同的含义，如果模型可以自动的识别一个视频中不同片段分别代表着什么含义，那么对于视频的理解将会更加的深刻，有助于促进视频推荐、视频搜索的发展。

现有技术使用预训练模型提取视频的特征，使用inception来提取视频每一帧的特征，然后对这些特征进行聚合的操作，针对音频特征，也使用预训练模型，比如vggish，来提取音频的特征，并把音频特征与视频特征进行交互，最后使用分类器进行处理。但是针对视频库比较大的情况，如果对所有的视频片段进行分类的话，那么推断的时间会非常长，不方便模型的上线部署；其次，没有考虑标签之间的关系，并且对于类别比较相似的情况下，现有方法的识别效果不佳。

发明内容

本申请实施例提供了一种视频片段分类模型构建方法、系统、电子设备及存储介质，以至少解决现有视频片段分类方法不灵活、且对标签和类别问题考虑欠缺的问题。

第一方面，本申请实施例提供了一种视频片段分类模型构建方法，包括：第一模型训练步骤，获取用于训练的一视频集，并获取所述视频集中的视频的标注数据，根据所述标注数据训练得到一第一模型；训练集预过滤步骤，使用所述第一模型对所述视频集中不符合一预设规则的所述视频进行过滤；视频特征获取步骤，使用一第二模型对过滤后的所述视频集进行预测，获取所述视频集的特征；分类模型构建步骤，根据所述视频集的特征，通过反向传播构建一视频片段分类模型。

优选的，所述视频特征获取步骤包括：第一特征获取步骤，获取所述视频集中所述视频的图像特征和音频特征，并将所述图像特征和所述音频特征进行交互得到一第一特征。

优选的，所述视频特征获取步骤包括：第二特征获取步骤，使用一树模型学习所述视频集中所述视频的所述标注数据之间的关系，并基于所述标注数据之间的关系得到一第二特征。

优选的，所述视频特征获取步骤包括：第三特征获取步骤，计算所述视频集中所述视频的类别余弦距离，并根据所述余弦距离得到一第三特征。

第二方面，本申请实施例提供了一种视频片段分类模型构建系统，适用于上述一种视频片段分类模型构建方法，包括：第一模型训练模块，获取用于训练的一视频集，并获取所述视频集中的视频的标注数据，根据所述标注数据训练得到一第一模型；训练集预过滤模块，使用所述第一模型对所述视频集中不符合一预设规则的所述视频进行过滤；视频特征获取模块，使用一第二模型对过滤后的所述视频集进行预测，获取所述视频集的特征；分类模型构建模块，根据所述视频集的特征，通过反向传播构建一视频片段分类模型。

在其中一些实施例中，所述视频特征获取模块包括：第一特征获取单元，获取所述视频集中所述视频的图像特征和音频特征，并将所述图像特征和所述音频特征进行交互得到一第一特征。

在其中一些实施例中，所述视频特征获取模块包括：第二特征获取单元，使用一树模型学习所述视频集中所述视频的所述标注数据之间的关系，并基于所述标注数据之间的关系得到一第二特征。