[发明专利]一种视频分类方法、设备及系统

说明书

本发明公开了一种视频分类方法、设备及系统，其中，所述方法包括：将待分类视频划分为多个视频片段，并针对每个视频片段，提取所述视频片段中各个视频帧的帧特征，以及提取所述各个视频帧对应的音频数据的音频特征；将提取的各个所述帧特征整合为所述视频片段的视频特征，并将所述视频特征和所述音频特征拼接为所述视频片段的音视频特征；根据各个所述视频片段的音视频特征，预测所述待分类视频所属的视频种类。本申请提供的技术方案，能够提高视频分类的精度。

技术领域

本发明涉及互联网技术领域，特别涉及一种视频分类方法、设备及系统。

背景技术

在各类视频服务中，对视频进行分类并打上类别标签已经是一种广泛采用的做法。对视频内容进行分类，一方面可以让用户快速定位到自己感兴趣的内容，另一方面，各种视频推荐技术也可以基于视频的类别标签进行更好的实施。

在过去，视频服务提供商通常使用人工标注的方式来对视频进行分类。但随着视频数量的急剧增大、人工成本的增高以及机器学习的发展，使用机器学习技术对视频进行分类的方式逐渐取代了人工分类。

目前，可以通过递归神经网络(Recurrent Neural Network，RNN)、局部聚合描述符(Vector of Locally Aggregated Descriptors，VLAD)神经网络(例如netVLAD、neXtVLAD)等方式来自动对视频进行分类。然而，这些机器学习的方式也会存在一定的缺陷。例如，RNN可以学习大量的长期信息，能够用于处理具备前后依赖性的数据，但是RNN可记忆的信息长度有限，对于较长的视频无法具备较高的分类精度。NetVLAD和neXtVLAD在对视频进行分类时，通常是将整个视频数据一并处理，但是这样会忽略视频中前后场景之间的联系，也会导致分类精度不够高的问题。

发明内容

本申请的目的在于提供一种视频分类方法、设备及系统，能够提高视频分类的精度。

为实现上述目的，本申请一方面提供一种视频分类方法，所述方法包括：将待分类视频划分为多个视频片段，并针对每个视频片段，提取所述视频片段中各个视频帧的帧特征，以及提取所述各个视频帧对应的音频数据的音频特征；将提取的各个所述帧特征整合为所述视频片段的视频特征，并将所述视频特征和所述音频特征拼接为所述视频片段的音视频特征；根据各个所述视频片段的音视频特征，预测所述待分类视频所属的视频种类。

为实现上述目的，本申请另一方面还提供一种视频分类设备，所述视频分类设备包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现上述的视频分类方法。

为实现上述目的，本申请另一方面还提供一种视频分类系统，待分类视频被划分为多个视频片段，所述视频分类系统中包括第一网络分支、第二网络分支和递归神经网络，其中，所述第一网络分支中包括第一卷积神经网络和局部聚合描述符神经网络，所述第二网络分支中包括第二卷积神经网络，其中：所述第一卷积神经网络用于针对每个视频片段，提取所述视频片段中各个视频帧的帧特征；所述局部聚合描述符神经网络，用于将提取的各个所述帧特征整合为所述视频片段的视频特征；所述第二卷积神经网络，用于提取所述各个视频帧对应的音频数据的音频特征；所述递归神经网络，用于接收由所述视频特征和所述音频特征拼接而成的音视频特征，并根据各个所述视频片段的音视频特征，预测所述待分类视频所属的视频种类。