[发明专利]视频分类方法、装置、设备和存储介质

权利要求书

1.一种视频分类方法，包括：

根据视频的多模态信息，提取所述视频中的关键词；

获取所述关键词对应的背景知识，并根据所述关键词和所述背景知识，确定待识别文本；

对所述待识别文本进行分类，以得到所述视频的类别；

其中，所述多模态信息包括：文本内容和视觉信息，所述视觉信息包括第一视觉信息和第二视觉信息，所述第一视觉信息为所述视频中的视频帧中的文本对应的视觉信息，所述第二视觉信息为所述视频中的关键帧；

所述关键词基于所述多模态信息中的各模态信息对应的特征获得，所述各模态信息对应的特征包括：对所述文本内容进行第一文本编码获得的文本特征，对所述第一视觉信息进行第二文本编码获得的第一视觉特征，以及对所述第二视觉信息进行图像编码获得的第二视觉特征。

2.根据权利要求1所述的方法，其中，所述根据视频的多模态信息，提取所述视频中的关键词，包括：

分别对所述多模态信息中的各模态信息，进行特征提取，以得到所述各模态信息对应的特征；

对所述各模态信息对应的特征进行融合，以得到融合特征；

根据所述融合特征进行关键词标注，以确定所述视频中的关键词。

3.根据权利要求2所述的方法，其中，所述对所述各模态信息对应的特征进行融合，以得到融合特征，包括：

对所述各模态信息对应的特征进行向量拼接，以得到拼接向量，将所述拼接向量作为融合特征。

4.根据权利要求2所述的方法，其中，所述根据所述融合特征进行关键词标注，包括：

采用条件随机场，根据所述融合特征进行关键词标注。

5.根据权利要求1所述的方法，其中，所述获取所述关键词对应的背景知识，包括：

从已有的知识库中，获取所述关键词对应的背景知识。

6.根据权利要求1-5任一项所述的方法，其中，所述对所述待识别文本进行分类，包括：

采用分类模型，对所述待识别文本进行分类，所述分类模型采用广电数据训练后得到。

7.一种视频分类装置，包括：

提取模块，用于根据视频的多模态信息，提取所述视频中的关键词；

确定模块，用于获取所述关键词对应的背景知识，并根据所述关键词和所述背景知识，确定待识别文本；

分类模块，用于对所述待识别文本进行分类，以得到所述视频的类别；

其中，所述多模态信息包括：文本内容和视觉信息，所述视觉信息包括第一视觉信息和第二视觉信息，所述第一视觉信息为所述视频中的视频帧中的文本对应的视觉信息，所述第二视觉信息为所述视频中的关键帧；

所述关键词基于所述多模态信息中的各模态信息对应的特征获得，所述各模态信息对应的特征包括：对所述文本内容进行第一文本编码获得的文本特征，对所述第一视觉信息进行第二文本编码获得的第一视觉特征，以及对所述第二视觉信息进行图像编码获得的第二视觉特征。

8.根据权利要求7所述的装置，其中，所述提取模块具体用于：

分别对所述多模态信息中的各模态信息，进行特征提取，以得到所述各模态信息对应的特征；

对所述各模态信息对应的特征进行融合，以得到融合特征；

根据所述融合特征进行关键词标注，以确定所述视频中的关键词。

9.根据权利要求8所述的装置，其中，所述提取模块进一步具体用于：

对所述各模态信息对应的特征进行向量拼接，以得到拼接向量，将所述拼接向量作为融合特征。

10.根据权利要求8所述的装置，其中，所述提取模块进一步具体用于：

采用条件随机场，根据所述融合特征进行关键词标注。

11.根据权利要求7所述的装置，其中，所述确定模块具体用于：

从已有的知识库中，获取所述关键词对应的背景知识。