[发明专利]一种视频识别方法、装置及电子设备

权利要求书

1.一种视频识别方法，其特征在于，所述方法包括：

获取目标视频，所述目标视频包括视频帧图像以及目标文本；

调用第一图像特征提取模型提取所述视频帧图像的第一图像特征；所述第一图像特征提取模型是基于第一分类任务训练的图像特征提取模型；

调用第二图像特征提取模型提取所述视频帧图像的第二图像特征；所述第二图像特征提取模型是基于所述第一分类任务和第二分类任务训练的图像特征提取模型；

调用第一文本特征提取模型提取所述目标文本的第一文本特征；所述第一文本特征提取模型是基于所述第一分类任务训练的文本特征提取模型；

调用第二文本特征提取模型提取所述目标文本的第二文本特征；所述第二文本特征提取模型是基于所述第一分类任务和第三分类任务训练的文本特征提取模型；

根据所述第一图像特征、所述第二图像特征、所述第一文本特征和所述第二文本特征确定所述目标视频的视频标签，确定所述目标视频的视频标签属于所述第一分类任务。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像特征、所述第二图像特征、所述第一文本特征和所述第二文本特征确定所述目标视频的视频标签，包括：

调用图像特征融合模型，将所述第一图像特征和所述第二图像特征融合为第一特征；

调用文本特征融合模型，将所述第一文本特征和所述第二文本特征融合为第二特征；

调用标签识别模型，识别所述第一特征和所述第二特征，得到目标视频的视频标签；

其中，所述图像特征融合模型、所述文本特征融合模型以及所述标签识别模型是基于所述第一分类任务训练的模型。

3.根据权利要求1所述的方法，其特征在于，所述获取目标视频，包括：

获取所述视频帧图像，识别所述视频帧图像中的文本，将识别到的文本作为所述目标文本；

将所述视频帧图像和所述目标文本组合为所述目标视频。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取用于第一分类任务的第一样本数据，所述第一样本数据包括第一样本视频帧图像以及第一样本文本；

调用第一图像待训练中间模型提取所述第一样本视频帧图像的第一样本图像特征，以及调用第二图像待训练中间模型提取所述第一样本视频帧图像的第二样本图像特征；

调用第一文本待训练中间模型提取所述第一样本文本的第一样本文本特征，以及调用第二文本待训练中间模型提取所述第一样本文本的第二样本文本特征；

调用待训练图像特征融合模型将所述第一样本图像特征以及所述第二样本图像特征融合为第一样本特征；

调用待训练文本特征融合模型，将所述第一样本文本特征和所述第二样本文本特征融合为第二样本特征；

调用待训练标签识别模型，识别所述第一样本特征和所述第二样本特征，得到第一样本数据的第一预测标签；

获取所述第一样本数据的第一样本标签，根据所述第一预测标签和所述第一样本标签训练所述第一图像待训练中间模型、所述第二图像待训练中间模型、所述第一文本待训练中间模型、所述第二文本待训练中间模型、所述待训练图像特征融合模型、所述待训练文本特征融合模型以及所述待训练标签识别模型，得到第一图像特征提取模型、第二图像特征提取模型、第一文本特征提取模型、第二文本特征提取模型、图像特征融合模型、文本特征融合模型以及标签识别模型。

5.根据权利要求4所述的方法，其特征在于，还包括：

获取用于第二分类任务的第二样本数据；所述第二样本数据包括第二样本视频帧图像；

基于第二图像待训练模型，识别所述第二样本视频帧图像的第二预测标签；

根据所述第二样本数据的第二样本标签以及第二预测标签，训练所述第二图像待训练模型得到所述第二图像待训练中间模型，其中，第二样本数据的数量大于所述第一样本数据的数量。

6.根据权利要求4所述的方法，其特征在于，还包括：

基于第一图像待训练模型，识别所述第一样本视频帧图像的原始图像预测标签；

根据所述第一样本数据的样本标签以及原始图像预测标签，训练所述第一图像待训练模型得到所述第一图像待训练中间模型。