[发明专利]视频标签的生成方法、装置及电子设备有效
申请号: | 202010610311.5 | 申请日: | 2020-06-30 |
公开(公告)号: | CN111967302B | 公开(公告)日: | 2023-07-25 |
发明(设计)人: | 任晖;杨敏;薛学通 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06V20/40 | 分类号: | G06V20/40;G06V10/50;G06V10/56;G06V10/762;G06V10/764;G06V10/74;G06F40/289;G06F40/216 |
代理公司: | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人: | 戎郑华 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 视频 标签 生成 方法 装置 电子设备 | ||
1.一种视频标签的生成方法,包括:
获取待处理的目标视频;
从所述目标视频中提取关键视频帧;
从参考视频库中获取候选参考视频,其中,所述参考视频库中包含多个参考视频及每个所述参考视频对应的文本信息,所述候选参考视频中至少一个视频帧与所述关键视频帧的相似度大于第一阈值;以及
根据所述候选参考视频对应的文本信息,确定所述目标视频的标签;
所述从参考视频库中获取候选参考视频,包括:
获取所述关键视频帧对应的第一图像特征;
获取所述参考视频库中每个参考视频中的关键视频帧对应的第二图像特征;
根据所述第一图像特征与所述第二图像特征的相似度,确定所述目标视频与每个所述参考视频的关联度;以及
根据所述目标视频与每个所述参考视频的关联度,从所述参考视频库中获取候选参考视频;
其中,若候选参考视频的数量M大于第三阈值,M为正整数,则在所述从参考视频库中获取候选参考视频之后,还包括:
根据每个所述候选参考视频中包含的目标参考视频帧的数量,确定每个所述候选参考视频的第一权重,其中,所述目标参考视频帧与所述关键视频帧的相似度大于第一阈值;
根据每个所述候选参考视频中每个目标参考视频帧与所述关键视频帧的相似度,确定每个所述候选参考视频的第二权重;以及
根据每个所述候选参考视频的第一权重及第二权重,从所述M个候选参考视频中获取目标参考视频;
其中,在所述获取所述关键视频帧对应的第一图像特征之前,还包括:
对所述参考视频库中的每个参考视频进行切帧处理,以获取各个参考视频帧;
利用图像识别模型,对每个所述参考视频帧进行识别,以获取每个所述参考视频帧对应的第三图像特征;
根据每个所述参考视频帧对应的第三图像特征,将所述各个参考视频帧进行聚类处理,以获取各视频帧簇;以及
利用所述各视频帧簇,对所述图像识别模型进行训练,以生成视频帧识别模型;
所述获取所述关键视频帧对应的第一图像特征,包括:
利用所述视频帧识别模型,对所述关键视频帧进行识别,以获取所述关键视频帧对应的第一图像特征。
2.如权利要求1所述的方法,其中,所述从所述目标视频中提取关键视频帧,包括:
获取所述目标视频中每个视频帧对应的颜色直方图;
根据所述每个视频帧对应的颜色直方图,确定所述目标视频中各连续N个视频帧间的相似度,其中,N为大于1的正整数;以及
如果任一连续N个视频帧中第i帧与其他任一帧间的相似度小于第二阈值,则确定所述第i帧为关键视频帧,其中,i为小于或等于N的正整数。
3.如权利要求1所述的方法,其中,所述利用所述各视频帧簇,对所述图像识别模型进行训练,以生成视频帧识别模型,包括:
根据所述图像识别模型,构建初始图像分类模型;
利用所述各视频帧簇,对所述初始图像分类模型进行训练,以生成目标图像分类模型;以及
根据所述目标图像分类模型,生成所述视频帧识别模型。
4.如权利要求1所述的方法,其中,所述获取所述参考视频库中每个参考视频中的关键视频帧对应的第二图像特征,包括:
利用所述视频帧识别模型,对所述参考视频库中每个参考视频中的关键视频帧进行识别,以获取所述参考视频库中每个参考视频中的关键视频帧对应的第二图像特征。
5. 如权利要求1-4任一所述的方法,其中,所述根据所述候选参考视频对应的文本信息,确定所述目标视频的标签,包括:
对所述候选参考视频对应的文本信息进行切词处理,以获取所述候选参考视频对应的词集;以及
根据所述词集中每个分词的词频-逆文件频率,从所述词集中获取目标分词作为所述目标视频的标签。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010610311.5/1.html,转载请声明来源钻瓜专利网。