[发明专利]一种视频处理方法、装置、设备以及可读存储介质

权利要求书

1.一种视频数据处理方法，其特征在于，包括：

获取目标视频的关键帧数据，生成所述关键帧数据对应的视频图像特征；

获取所述目标视频的视频标题数据与视频描述数据；

从视频字幕文件中获取所述目标视频的视频字幕数据；

对所述视频标题数据、所述视频描述数据以及所述视频字幕数据分别进行分词处理，得到多个文本分词；所述多个文本分词包括标题分词、描述分词以及字幕分词；

获取每个文本分词分别对应的第一词向量，将所述第一词向量输入语言处理模型；

基于所述语言处理模型输出所述视频标题数据对应的标题表示特征、所述视频描述数据对应的描述表示特征以及所述视频字幕数据对应的字幕表示特征；

将所述标题表示特征、所述描述表示特征以及所述字幕表示特征进行特征融合，生成所述目标视频的视频文本特征；

将所述视频图像特征与所述视频文本特征进行特征融合，生成视频表示特征；

获取与所述目标视频对应的候选标签集中候选标签的标签表示特征，将所述视频表示特征与所述标签表示特征进行匹配，根据匹配结果在所述候选标签集中确定用于表征所述目标视频的目标标签。

2.根据权利要求1所述的方法，其特征在于，所述获取目标视频的关键帧数据，生成所述关键帧数据对应的视频图像特征，包括：

基于所述目标视频中的每个视频帧对应的图像参数，从所述目标视频中获取N个关键视频帧；所述N为正整数且小于所述目标视频的总帧数；

基于所述关键视频帧对应的帧时间戳，生成关键视频帧序列；

将所述关键视频帧序列输入循环神经网络模型，通过所述循环神经网络模型输出所述关键视频帧序列对应的向量数据，将所述向量数据确定为所述视频图像特征。

3.根据权利要求1所述的方法，其特征在于，所述将所述视频图像特征与所述视频文本特征进行特征融合，生成视频表示特征，包括：

基于所述视频图像特征与所述视频文本特征，对所述视频图像特征进行注意力处理，生成第一特征向量；所述第一特征向量的特征维度与所述视频图像特征的特征维度一致；

基于所述视频文本特征与所述视频图像特征，对所述视频文本特征进行注意力处理，生成第二特征向量；所述第二特征向量的特征维度与所述视频文本特征的特征维度一致；

将所述第一特征向量与所述第二特征向量进行拼接融合，得到所述视频表示特征。

4.根据权利要求1所述的方法，其特征在于，还包括：

获取所述目标视频对应的相似视频；

基于所述相似视频的视频标签，确定出所述目标视频的所述候选标签集；

将所述候选标签集中的候选标签进行分词处理，得到所述候选标签对应的标签分词；

根据每个标签分词对应的第二词向量，确定所述候选标签对应的标签表示特征。

5.根据权利要求1所述的方法，其特征在于，还包括：

获取标签库；

基于所述标签库中的标签，确定出所述目标视频的所述候选标签集；

将所述候选标签集中的候选标签进行分词处理，得到所述候选标签对应的标签分词；

根据每个标签分词对应的第二词向量，确定所述候选标签对应的标签表示特征。

6.根据权利要求1所述的方法，其特征在于，所述获取与所述目标视频对应的候选标签集中候选标签的标签表示特征，将所述视频表示特征与所述标签表示特征进行匹配，根据匹配结果在所述候选标签集中确定用于表征所述目标视频的目标标签，包括：

将所述视频表示特征与所述标签表示特征输入匹配模型，通过所述匹配模型输出所述视频表示特征与所述标签表示特征之间的匹配结果；所述匹配结果包括所述视频表示特征与所述标签表示特征之间的相似度；

将所述相似度大于或等于目标阈值的标签表示特征所对应的候选标签确定为所述目标视频的目标标签。