[发明专利]视频分类方法和装置

说明书

本申请实施例公开了视频分类方法和装置。该方法的一具体实施方式包括：获取待分类视频；提取待分类视频的多种模态的特征集合；将多种模态的特征集合对应输入至每种模态对应的后融合模型，得到待分类视频的多种模态的类别信息；融合待分类视频的多种模态的类别信息，得到待分类视频的类别信息。该实施方式提高了视频分类的准确度。

技术领域

本申请实施例涉及计算机技术领域，具体涉及视频分类方法和装置。

背景技术

视频分类是通过分析、理解视频信息，将视频分到事先定义好的类别中去。视频分类是计算机视觉中最基本、最重要的任务之一。它在大量的现实应用中起着关键作用，包括基于视频的搜索、视频的推荐等等。随着数码相机、智能手机和监控摄像机的增加，视频数量激增，如何有效、高效地识别和理解视频内容是一个严峻的挑战。同时，视频分类技术还是视频标签、视频检索、视频标题生成等多种其他视频技术重要基础。提高视频通用分类的准确性，也可以间接的提高其他视频技术的效果。

发明内容

本申请实施例提出了视频分类方法和装置。

第一方面，本申请实施例提供了一种视频分类方法，包括：获取待分类视频；提取待分类视频的多种模态的特征集合；将多种模态的特征集合对应输入至每种模态对应的后融合模型，得到待分类视频的多种模态的类别信息；融合待分类视频的多种模态的类别信息，得到待分类视频的类别信息。

在一些实施例中，提取待分类视频的多种模态的特征集合，包括：将待分类视频分别输入至每种模态对应的卷积神经网络，得到待分类视频的多种模态的特征集合。

在一些实施例中，后融合模型包括多个并列的注意力模块、全连接层和激活函数层，不同模态对应的后融合模型的注意力模块的数目不同，且注意力模块数目多的后融合模型的注意力模块的参数被注意力模块数目少的后融合模型共享。

在一些实施例中，将多种模态的特征集合对应输入至每种模态对应的后融合模型，得到待分类视频的多种模态的类别信息，包括：对于每种模态，将该模态的特征集合并行输入至该模态对应的后融合模型的多个并列的注意力模块，得到多个第一输出信息；拼接多个第一输出信息，得到拼接第一输出信息；将拼接第一输出信息依次输入至该模态对应的后融合模型的全连接层和激活函数层，得到待分类视频的该模态的类别信息。

在一些实施例中，融合待分类视频的多种模态的类别信息，得到待分类视频的类别信息，包括：将待分类视频的多种模态的类别信息输入至多模态融合模型，得到待分类视频的类别信息。

在一些实施例中，多模态融合模型包括多个串行的门控循环单元、全连接层和激活函数层。

在一些实施例中，将待分类视频的多种模态的类别信息输入至多模态融合模型，得到待分类视频的类别信息，包括：按照模态顺序将待分类视频的多种模态的类别信息对应输入至多模态融合模型的多个串行的门控循环单元，得到第二输出信息；将第二输出信息依次输入至多模态融合模型的全连接层和激活函数层，得到待分类视频的类别信息。

在一些实施例中，多模态融合模型通过如下步骤训练得到：初始化神经网络结构搜索网络；执行以下训练步骤：运行神经网络结构搜索网络，确定网络结构，其中，网络结构的输出端与多模态融合模型的输入端连接；交替更新网络结构和多模态融合模型的参数；确定多模态融合模型的分类准确率是否变化；响应于确定多模态融合模型的分类准确率不变，确定多模态融合模型训练完成；响应于确定多模态融合模型的分类准确率变化，继续执行训练步骤。