[发明专利]视频类型确定方法及相关装置

权利要求书

1.一种视频类型确定方法，其特征在于，所述方法包括：

获取待检测视频，所述待检测视频包括视频数据和标题数据；

将所述视频数据输入预先训练好的图片特征提取模型，得到目标图片特征，所述目标图片特征用于指示基于空间维度的第一图片特征和基于时间维度的第二图片特征；

将所述标题数据输入预先训练好的文本特征提取模型，得到文本特征；

将所述目标图片特征和所述文本特征输入预先训练好的融合分类模型，得到所述待检测视频的目标分类结果，所述目标分类结果用于指示所述待检测视频所属的视频类型。

2.根据权利要求1所述的方法，其特征在于，所述图片特征提取模型包括第一处理模块和第二处理模块，所述将所述视频数据输入预先训练好的图片特征提取模型，得到目标图片特征，包括：

基于所述第一处理模块对所述视频数据进行处理，得到基于空间维度的第一图片特征；

基于所述第二处理模块对所述视频数据进行处理，得到基于时间维度的第二图片特征；

根据所述第一图片特征和所述第二图片特征得到所述目标图片特征。

3.根据权利要求2所述的方法，其特征在于，所述获取待检测视频之后，所述方法还包括：

对所述视频数据进行时序采样，得到N帧图片；

将所述N帧图片中每帧图片等分为多个图像块。

4.根据权利要求3所述的方法，其特征在于，所述基于所述第一处理模块对所述视频数据进行处理，得到基于空间维度的第一图片特征，包括：

根据同一帧图片中除目标图像块之外的其他图像块确定所述目标图像块的第一计算权重，所述目标图像块为所述多个图像块中的任意一个图像块；

分别确定每个图像块为所述目标图像块，获取所述每个图像块的第一计算权重；

根据同一帧内包含的所有图像块的第一计算权重确定每帧图片的第一图片子特征，得到N个第一图片子特征；

根据所述N个第一图片子特征得到所述基于空间维度的第一图片特征。

5.根据权利要求3所述的方法，其特征在于，所述基于所述第二处理模块对所述视频数据进行处理，得到基于时间维度的第二图片特征，包括：

根据不同帧图片中与目标图像块的位置对应的其他图像块确定所述目标图像块的第二计算权重，所述目标图像块为所述多个图像块中的任意一个图像块；

分别确定每个图像块为所述目标图像块，获取所述每个图像块的第二计算权重；

根据同一帧内包含的所有图像块的第二计算权重确定每帧图片的第二图片子特征，得到N个第二图片子特征；

根据所述N个第二图片子特征得到所述基于时间维度的第二图片特征。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述将所述目标图片特征和所述文本特征输入预先训练好的融合分类模型，得到所述待检测视频的目标分类结果，包括：

拼接所述目标图片特征和所述文本特征，得到拼接特征；

将所述拼接特征输入所述融合分类模型，得到所述待检测视频的目标分类结果。

7.根据权利要求6所述的方法，其特征在于，所述融合分类模型包括M个串联的特征融合模块，所述将所述拼接特征输入所述融合分类模型，得到所述待检测视频的目标分类结果，包括：

根据所述拼接特征和第一特征融合模块得到第一预测子特征；

将所述拼接特征和第j预测子特征相加，并将相加后的值输入第j+1特征融合模块，得到第j+1预测子特征，所述第j预测子特征为根据第j特征融合模块得到；

令j＝j+1，重复上述步骤，直至j＝M+1，获取多个预测子特征；

根据所述多个预测子特征，得到预测融合特征；

根据所述预测融合特征确定所述待检测视频的目标分类结果。