[发明专利]视频分类方法和装置

权利要求书

1.一种视频分类方法，包括：

获取待分类视频；

提取所述待分类视频的多种模态的特征集合；

将所述多种模态的特征集合对应输入至每种模态对应的后融合模型，得到所述待分类视频的多种模态的类别信息，其中，后融合模型包括多个并列的注意力模块，不同模态对应的后融合模型的注意力模块的数目不同，且注意力模块数目多的后融合模型的注意力模块的参数被注意力模块数目少的后融合模型共享；

其中，后融合模型还包括全连接层和激活函数层；

所述将所述多种模态的特征集合对应输入至每种模态对应的后融合模型，得到所述待分类视频的多种模态的类别信息，包括：

对于每种模态，将该模态的特征集合并行输入至该模态对应的后融合模型的多个并列的注意力模块，得到多个第一输出信息；

拼接所述多个第一输出信息，得到拼接第一输出信息；

将所述拼接第一输出信息依次输入至该模态对应的后融合模型的全连接层和激活函数层，得到所述待分类视频的该模态的类别信息；融合所述待分类视频的多种模态的类别信息，得到所述待分类视频的类别信息。

2.根据权利要求1所述的方法，其中，所述提取所述待分类视频的多种模态的特征集合，包括：

将所述待分类视频分别输入至每种模态对应的卷积神经网络，得到所述待分类视频的多种模态的特征集合。

3.根据权利要求1所述的方法，其中，所述融合所述待分类视频的多种模态的类别信息，得到待分类视频的类别信息，包括：

将所述待分类视频的多种模态的类别信息输入至多模态融合模型，得到所述待分类视频的类别信息。

4.根据权利要求3所述的方法，其中，所述多模态融合模型包括多个串行的门控循环单元、全连接层和激活函数层。

5.根据权利要求4所述的方法，其中，所述将所述待分类视频的多种模态的类别信息输入至多模态融合模型，得到所述待分类视频的类别信息，包括：

按照模态顺序将所述待分类视频的多种模态的类别信息对应输入至所述多模态融合模型的多个串行的门控循环单元，得到第二输出信息；

将所述第二输出信息依次输入至所述多模态融合模型的全连接层和激活函数层，得到所述待分类视频的类别信息。

6.根据权利要求3-5之一所述的方法，其中，所述多模态融合模型通过如下步骤训练得到：

初始化神经网络结构搜索网络；

执行以下训练步骤：运行所述神经网络结构搜索网络，确定网络结构，其中，所述网络结构的输出端与所述多模态融合模型的输入端连接；交替更新所述网络结构和所述多模态融合模型的参数；确定所述多模态融合模型的分类准确率是否变化；响应于确定所述多模态融合模型的分类准确率不变，确定所述多模态融合模型训练完成；

响应于确定所述多模态融合模型的分类准确率变化，继续执行所述训练步骤。

7.根据权利要求6所述的方法，其中，所述运行所述神经网络结构搜索网络，确定网络结构，包括：

一次运行所述神经网络结构搜索网络，确定第一网络结构；

所述交替更新所述网络结构和所述多模态融合模型的参数，包括：

固定所述第一网络结构，计算分类损失，以及利用反向传播方法，更新所述多模态融合模型的参数；

所述运行所述神经网络结构搜索网络，确定网络结构，还包括：

多次运行所述神经网络结构搜索网络，确定第二网络结构；以及

所述交替更新所述网络结构和所述多模态融合模型的参数，还包括：

固定所述多模态融合模型，计算分类损失，以及利用策略梯度方法，更新所述神经网络结构搜索网络的参数。

8.根据权利要求6所述的方法，其中，所述神经网络结构搜索网络包括长短期记忆网络和全局向量，所述长短期记忆网络包括多个串行的长短期记忆网络单元，当运行所述神经网络结构搜索网络时，每个长短期记忆网络单元依次选择模态、注意力模块的数目和激活函数中的一项。