[发明专利]标签数据的生成方法及装置、存储介质、电子设备

说明书

本发明公开了一种标签数据的生成方法及装置、存储介质、电子设备，属于人工智能领域。其中，该方法包括：获取视频数据，其中，所述视频数据包括多个模态的数据内容；提取所述视频数据的视频内容和描述文本；基于所述视频内容构建所述视频数据的第一特征标签，以及基于所述描述文本构建所述视频数据的第二特征标签；根据所述第一特征标签和所述第二特征标签聚合生成所述视频数据的视频标签。通过本发明，解决了相关技术针对视频数据生成的标签不完善的技术问题，结合视频内容和文本双模态的互补特性，丰富了视频数据的标签体系。

技术领域

本发明涉及人工智能领域，具体而言，涉及一种标签数据的生成方法及装置、存储介质、电子设备。

背景技术

相关技术中，互联网中以短视频为媒介的信息传播方式占据了极其重要的地位。视频的数量与内容丰富度与日俱增，想要对视频数据进行高效的管理、运营，为用户提供高质量的推荐、搜索服务都依赖于完善的视频标签分类体系。在当前信息更新极快的背景下，人们关注的热点、视频聚焦的内容都在不断变化和衍生。

使用人工进行标注的效率是极其低下的，并且使用一成不变的标签体系来为视频进行标注难以满足与时俱进的要求。相关技术都是从单一的视频模态出发，大致包含：获取视频、采样(分段)、视频特征提取、按标注类别训练这几个部分，在仅使用单一模态的同时，依靠固定的标签体系来训练和标注视频。至少存在以下缺陷：使用模态类别单一化，信息缺乏互补性，在当前视频类媒体中，通常并不只包含视频这一个模态，视频标题、简介等文本信息都较为常见；标签体系固化：由于仅使用视频模态，该类方案极度依赖于完善的视频标注，因此当视频中出现了标签体系之外的重要内容时，往往难以满足需要，但视频的内容与热点是与时俱进的，需要摆脱标签体系固化的影响，导致生成的视频标签不准确、不完善，给基于标签数据的模型训练等带来了不稳定因素。

针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。

发明内容

本发明实施例提供了一种标签数据的生成方法及装置、存储介质、电子设备。

根据本申请实施例的一个方面，提供了一种标签数据的生成方法，包括：获取视频数据，其中，所述视频数据包括多个模态的数据内容；提取所述视频数据的视频内容和描述文本；基于所述视频内容构建所述视频数据的第一特征标签，以及基于所述描述文本构建所述视频数据的第二特征标签；根据所述第一特征标签和所述第二特征标签聚合生成所述视频数据的视频标签。

进一步，基于所述视频内容构建所述视频数据的第一特征标签包括：按照预设周期从所述视频内容采样帧序列；采用预设卷积模型逐帧提取所述帧序列的帧级特征，得到对应的特征序列；根据所述特征序列构建所述视频数据的视频内容标签和视频动作标签。

进一步，根据所述特征序列构建所述视频数据的视频内容标签包括：针对所述特征序列中的每个帧级特征x_t，采用以下公式计算其属于预设聚类中心集合中任一聚类中心k的概率α_k：其中，w，b为预设参数；针对所述特征序列中的每个帧级特征x_t，采用预设聚类中心集合中每个聚类中心的α_k作为权重，采用以下公式加权计算x_t的视频内容标签其中，μ_k为聚类中心k的聚类特征。

进一步，根据所述特征序列构建所述视频数据的视频动作标签包括：计算所述特征序列中t-1步之前的隐层特征h_t-1，以及从所述特征序列中获取第t-1步的输入特征x_t-1；基于所述h_t-1和x_t-1采用预设长短期记忆网络LSTM模型计算第t-1步的视频动作标签，其中，t-1为最后一步。