[发明专利]视频标签的生成方法、装置及电子设备有效
申请号: | 202010610311.5 | 申请日: | 2020-06-30 |
公开(公告)号: | CN111967302B | 公开(公告)日: | 2023-07-25 |
发明(设计)人: | 任晖;杨敏;薛学通 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06V20/40 | 分类号: | G06V20/40;G06V10/50;G06V10/56;G06V10/762;G06V10/764;G06V10/74;G06F40/289;G06F40/216 |
代理公司: | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人: | 戎郑华 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 视频 标签 生成 方法 装置 电子设备 | ||
本申请公开了一种视频标签的生成方法、装置及电子设备,涉及图像处理技术领域、自然语言处理技术领域。具体实现方案为:获取待处理的目标视频;从目标视频中提取关键视频帧;从参考视频库中获取候选参考视频,其中,参考视频库中包含多个参考视频及每个参考视频对应的文本信息,候选参考视频中至少一个视频帧与关键视频帧的相似度大于第一阈值;根据候选参考视频对应的文本信息,确定目标视频的标签。由此,通过这种人工智能,特别是基于深度学习的视频标签的生成方法,无需利用图像分类模型对目标视频进行细粒度识别,不仅提升了视频细粒度识别的准确性和召回率,而且可以随时对参考视频库中的参考视频进行扩充,可扩展性好。
技术领域
本申请涉及图像处理技术领域,尤其涉及基于深度学习的视频图像处理技术领域,提出一种视频标签的生成方法、装置及电子设备。
背景技术
视频细粒度识别是指对视频进行识别,以提取出该视频中包括的视频内容、影视剧名称、名人信息等与该视频相关的文本信息,之后,还可以将提取的文本信息作为视频的标签,以便于视频推荐和视频分类整理。
相关技术中,通常通过对视频进行采样,以获取视频中的多帧图像,并对多帧图像分别对应的特征进行融合,进而利用图像分类模型根据融合后的特征对视频进行分类,以确定视频的细粒度识别结果。但是,由于图像分类模型可以覆盖的分类标签有限,从而导致这种视频细粒度识别方式,准确率和召回率较低,可扩展性差。
发明内容
本申请提供了一种用于视频标签的生成方法、装置、电子设备、存储介质。
根据本申请的一方面,提供了一种视频标签的生成方法,包括:获取待处理的目标视频;从所述目标视频中提取关键视频帧;从参考视频库中获取候选参考视频,其中,所述参考视频库中包含多个参考视频及每个所述参考视频对应的文本信息,所述候选参考视频中至少一个视频帧与所述关键视频帧的相似度大于第一阈值;以及根据所述候选参考视频对应的文本信息,确定所述目标视频的标签。
根据本申请的另一方面,提供了一种视频标签的生成装置,包括:第一获取模块,用于获取待处理的目标视频;提取模块,用于从所述目标视频中提取关键视频帧;第二获取模块,用于从参考视频库中获取候选参考视频,其中,所述参考视频库中包含多个参考视频及每个所述参考视频对应的文本信息,所述候选参考视频中至少一个视频帧与所述关键视频帧的相似度大于第一阈值;以及确定模块,用于根据所述候选参考视频对应的文本信息,确定所述目标视频的标签。
根据本申请的再一方面,提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如前所述的视频标签的生成方法。
根据本申请的又一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行如前所述的视频标签的生成方法。
根据本申请的技术方案,解决了相关技术中,基于图像分类模型的视频细粒度识别方式,由于图像分类模型可以覆盖的分类标签有限,从而导致视频细粒度识别的准确率和召回率较低,可扩展性差的问题。通过从待处理的目标视频中提取关键视频帧,并从参考视频库中获取至少一个视频帧与目标视频的关键视频帧的相似度大于第一阈值的候选参考视频,进而根据参考视频库中包含的候选参考视频对应的文本信息,确定目标视频的标签。由此,通过预先建立包含大量参考视频的参考视频库,之后即可以从参考视频库中获取与目标视频高度相关的候选参考视频,以根据候选参考视频对应的文本信息,确定目标视频的标签,从而无需利用图像分类模型对目标视频进行细粒度识别,不仅提升了视频细粒度识别的准确性和召回率,而且可以随时对参考视频库中的参考视频进行扩充,可扩展性好。
应当理解,本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征,也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010610311.5/2.html,转载请声明来源钻瓜专利网。