[发明专利]标签数据的生成方法及装置、存储介质、电子设备

权利要求书

1.一种标签数据的生成方法，其特征在于，包括：

获取视频数据，其中，所述视频数据包括多个模态的数据内容；

提取所述视频数据的视频内容和描述文本；

基于所述视频内容构建所述视频数据的第一特征标签，以及基于所述描述文本构建所述视频数据的第二特征标签；

根据所述第一特征标签和所述第二特征标签聚合生成所述视频数据的视频标签。

2.根据权利要求1所述的方法，其特征在于，基于所述视频内容构建所述视频数据的第一特征标签包括：

按照预设周期从所述视频内容采样帧序列；

采用预设卷积模型逐帧提取所述帧序列的帧级特征，得到对应的特征序列；

根据所述特征序列构建所述视频数据的视频内容标签和视频动作标签。

3.根据权利要求2所述的方法，其特征在于，根据所述特征序列构建所述视频数据的视频内容标签包括：

针对所述特征序列中的每个帧级特征x_t，采用以下公式计算其属于预设聚类中心集合中任一聚类中心k的概率α_k：

其中，w，b为预设参数；

针对所述特征序列中的每个帧级特征x_t，采用预设聚类中心集合中每个聚类中心的α_k作为权重，采用以下公式加权计算x_t的视频内容标签z_k:

其中，μ_k为聚类中心k的聚类特征。

4.根据权利要求2所述的方法，其特征在于，根据所述特征序列构建所述视频数据的视频动作标签包括：

计算所述特征序列中t-1步之前的隐层特征h_t-1，以及从所述特征序列中获取第t-1步的输入特征x_t-1；

基于所述h_t-1和x_t-1采用预设长短期记忆网络LSTM模型计算第t-1步的视频动作标签，其中，t-1为最后一步。

5.根据权利要求1所述的方法，其特征在于，基于所述描述文本构建所述视频数据的第二特征标签包括：

采用预设文本格式为提取模板从所述描述文本中提取第一主题关键词集合，以及采用预设命名实体识别NER模型和词性标注模型从所述描述文本抽取第二主题关键词集合，其中，所述预设NER模型和所述词性标注模型用于从输入文本中抽取目标词性的关键词；

对所述第一主题关键词集合和所述第二主题关键词集合进行去重，得到所述视频数据的第二特征标签。

6.根据权利要求1所述的方法，其特征在于，根据所述第一特征标签和所述第二特征标签聚合生成所述视频数据的视频标签包括：

对所述第一特征标签按照预设父级标签进行聚类，得到多个类别的子标签，其中，所述第一特征标签包括若干个内容标签和若干个动作标签；

采用子标签计算父级标签的置信度，并选择置信度最大的指定父级标签；

计算所述指定父级标签下各个子标签的标签文本与关键词的相关性，选择相关性符合预设条件的M个指定关键词，其中，所述第二特征标签包括N个关键词，N≥M，M，N均为正整数；

将所述第一特征标签和所述M个指定关键词聚合为所述视频数据的视频标签。

7.根据权利要求6所述的方法，其特征在于，选择相关性符合预设条件的M个指定关键词包括：

选择相关性大于第一阈值的第一关键字集合，以及选择相关性小于第二阈值的第二关键字集合，得到M个指定关键词。

8.一种标签数据的生成装置，其特征在于，包括：

获取模块，用于获取视频数据，其中，所述视频数据包括多个模态的数据内容；

提取模块，用于提取所述视频数据的视频内容和描述文本；

构建模块，用于基于所述视频内容构建所述视频数据的第一特征标签，以及基于所述描述文本构建所述视频数据的第二特征标签；

生成模块，用于根据所述第一特征标签和所述第二特征标签聚合生成所述视频数据的视频标签。