[发明专利]模型生成方法、视频分类方法、装置、终端及存储介质

说明书

本发明实施例提供了一种模型生成方法、视频分类方法、装置、终端及计算机可读存储介质，所述视频分类方法包括：获取待分类视频文件的音频聚合特征、图像聚合特征和文本特征；将所述音频聚合特征、图像聚合特征和文本特征输入到预先生成的视频分类模型进行分类，得到多个分类标签的概率预测向量；对所述多个分类标签的概率预测向量中的每个元素按照从高到低进行排序；选取排名靠前的至少一个元素编号对应的标签，以作为所述待分类视频文件的分类标签。本发明实施例中，基于学习好的视频分类模型可以综合利用音频、图像和文本特征来识别待分类视频，扩大视频识别的标签的范围，从而提高了视频分类的准确性和整体性能。

技术领域

本发明涉及视频分类技术领域，特别是涉及一种模型生成方法、视频分类方法、装置、终端及计算机可读存储介质。

背景技术

随着视频文件的大量增加，人们需要观看视频文件前都会按照视频文件的类别进行初步筛选，然后从对应类别的视频文件中去选择感兴趣的视频文件观看，这样就需要对视频文件进行有效的分类，以使视频文件在合适的类别中呈现。

现有的视频文件分类时，需要先设置视频文件的类别标签，然后，根据该类别标签，将其分到对应的视频类别中，但是，目前视频文件的类别标签设置可能不准确或不全面，比如，目前对视频文件的类别标签都要满足视觉可识别，也就是使人们仅通过观察视频内容就能识别出标签来，而对于视觉不可识别且有用的标签却没有设置，从而导致视频文件分类不准确。

发明内容

本发明实施例所要解决的技术问题是提供一种模型生成方法和视频分类方法，以解决现有技术中由于视频文件的类别标签设置可能不准确或不全面，导致视频文件分类不准确的技术问题。

相应的，本发明实施例还提供了一种模型生成装置、视频分类装置、终端及计算机可读存储介质，用以保证上述方法的实现及应用。

为了解决上述问题，本发明是通过如下技术方案实现的：

第一方面提供一种模型生成方法，包括：

获取多个待分类视频文件中每个待分类视频文件的音频聚合特征、图像聚合特征和文本特征；

将所述每个待分类视频文件的音频聚合特征、图像聚合特征和文本特征进行融合，得到融合后的向量；

对所述融合后的向量进行瓶颈门控和混合专家层处理，得到多个分类标签的概率预测向量；

将所述多个分类标签的概率预测向量及真值标签向量输入到损失函数进行计算，得到多个分类标签分类损失的计算结果；

根据所述计算结果，利用梯度反向传播方法对视频分类模型的参数进行反复迭代学习，得到视频分类模型。

第二方面提供一种视频分类方法，包括：

获取待分类视频文件的音频聚合特征、图像聚合特征和文本特征；

将所述音频聚合特征、图像聚合特征和文本特征输入到预先生成的视频分类模型进行分类，得到多个分类标签的概率预测向量；

对所述多个分类标签的概率预测向量中的每个元素按照从高到低进行排序；

选取排名靠前的至少一个元素编号对应的标签，以作为所述待分类视频文件的分类标签。

第三方面提供一种模型生成装置，包括：

获取模块，用于获取多个待分类视频文件中每个待分类视频文件的音频聚合特征、图像聚合特征和文本特征；

融合模块，用于将所述每个所述待分类视频文件的音频聚合特征、图像聚合特征和文本特征进行融合，得到融合后的向量；

处理模块，用于对所述融合后的向量进行瓶颈门控和混合专家层处理，得到多个分类标签的概率预测向量；